华为 职业 认证 通过 者 权益 


通过 任 一 项 华为 职业 认证 ， 您 即 可 在 华为 在 线 学 习 网 站 (hjjp:Jecm?me.hnwawe/comWcD) 享有 如 下 特权 : 
。 1、 华 为 E-learning 课程 学 习 
o 内容: 所 有 华为 职业 认证 E-Learning 课 程 ， 扩 展 您 在 其 他 技术 领域 的 技术 知识 
方式 : 请 提交 您 的 “华为 账号 ”和 注册 账号 的 “email 地 址 ”到 LeQ/ning@huawei.com 有 押 坊 未 碟 。 
华为 培训 教材 下 载 
内 容 : 华为 职业 认证 培训 教材 + 华为 产品 技术 培训 教材 ， 覆 盖 企 业 网 络 、 存 储 、 安 全 等 诸多 领 
方式 : 登录 华为 在 结 学 习 屋 六 ， 进 入 “华为 姐 加 -> 面 立 如 加 ， 在 具体 课程 页 面 即 可 下 载 教 梢 。 
华为 在 线 公开 课 ([LVC) 优 先 参 与 
内 容 : 企业 网 络 、UC&C、 安全、 存储 等 诸多 领域 的 职业 认证 课程 ， 华 为 讲师 授课 ， 淹 班 人 数 有 限 
方式 : 开 班 计划 及 参与 方式 请 详 见 LVC 排 期 : 
http://support.huawei.com/learning/NavigationAction!lcreateNavi#rnewilid]=%16 
学 习 工 具 eNSP 
o EeNSP /Enterprise Network Simulation Paoxo777)/ 是 由 华为 提供 的 免费 的 入 可 委 展 的 、 图 形 化 网 络 仿 
真 工具 。 主 要 对 企业 网 路 由 器 和 交换 机 进行 硬件 模拟 ， 完 美 呈现 真实 设备 实景 了 了 同时 也 支持 大 型 网 络 
模拟 ， 让 大 家 在 没有 真实 设备 的 情况 下 也 能 够 进行 实验 测试 。 
另外 , 华为 建立 了 知识 分 享 平台 华为 认证 论坛 。 您 可 以 在 线 与 华为 技术 专家 交流 技术 ， 与 其 他 考生 分 享 考试 
经 验 ， 一 起 学 习 华 为 产品 技术 。_( http://support.huawei.comYecemimunity/bbs/list 2247.html ) 
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华为 认证 系列 教程 
HCNP-Storage CBDS 构建 大 数据 解决 方案 
第 20 版 本 


华为 认证 系统 介绍 


依托 华为 公司 雄厚 的 技术 实力 和 专业 的 培训 体系 ,华为 认证 考虑 到 不 同 客户 对 1CT 
技术 不 同 层次 的 需求 ， 致 力 于 为 客户 提供 实战 性 、 专 业 化 的 技术 认证 。 根据 ICT 拉 术 
的 特点 和 客户 不 同 层次 的 需求 ， 华 为 认证 为 客户 提 供 面 癌 十 三 个 方 回 的 四 级 汰 证 体系 。 

HCNA-Storage (Huawei Certified Network Associate-Storage ， 华 为 网 络 存储 工 
程 师 认 证 ) 主要 面 器 网络 存 储 维护 工程 师 , 以 及 准备 参加 HCNA-Storage' 认 证 考试 的 人 
员 ; 希望 掌握 SAN 存储 系统 与 网 络 基本 原理 和 华为 SAN 存储 阵 系统 管理 、 部 署 与 维护 
能 力 的 人 员 。HCNA 认证 在 内 容 上 涵 和 兰 存 储 基 础 知识 、RAID 拉 术 与 应 用 、 存 储 网 络 反 
术 与 应 用 、 华 为 存储 产品 与 解决 方案 、 存 储 系统 管理 和 基本 配置 、 存储 主机 连接 与 多 路 
径 配 置 、SAN 网 络 与 存储 系统 日 常 维护 。 

HCNP-Storage (Huawei Certified Network Professional-Storage , 华为 认证 网 络 存 
储 资深 工程 师 ) 主 要 面向 企业 级 网 络 存储 维护 工程 师 % 专家 工程 师 以 及 希望 系统 深入 党 
握 SAN 存储 、 统 一 存储 、 数 据 保护 技术 与 部 署 的 人 员 。 

HCNP-Storage 包括 CUSN (Constructing=Unifying Storage Network, 构建 统一 存 
储 网 络 ) 、CBDS (Constructing Big Data Solution 构建 大 数据 解决 方案 ) 、CDPS 

(Constructing Data Protection System 构建 数据 保护 系统 ) 三 个 部 分 。 内 容 上 涵盖 

SAN、NAS 统一 存储 原理 、 染 构 和 组 件 , 存储 数据 处 理 与 通信 协议 (SCSl、FC、iSCSD 
原理 及 应 用 , 存储 系统 数据 可 靠 性 与 业务 连续 性 保障 技术 存储 与 主流 OS 平台 连接 与 应 
用 , 存储 网 络 元 余 拉 术 及 应 用 ,SANK 集群 NAS 网络 规 划 与 方案 部 署 , 虚拟 快照 、LUN 
Copy、 复 制 的 原理 和 部 署 ,/ 网 络 和 存储 虚拟 化 撤 术 及 应 用 ， 存 储 庶 拟 化 系统 原理 、 部 嗜 
和 蜡 构 资源 管理 ， 备 份 网 络 及 备份 恢复 技术 及 应 用 ， 华 为 数据 保护 方案 构建 、 部 署 与 管 
理 ， 华 为 数据 容 灾 方 案 及 典型 应 用 场景 ， 华 为 存储 系统 、 网 络 、 方 案 的 故障 诊断 与 处 理 
方法 。 

HCIE-Storage. (Huawei Certified Internetwork Expert--Storage ， 华 为 认证 互联 网 
络 存储 专家 ) 由 在 培 乔 能 够 熟练 掌握 各 种 存储 拉 术 ; 精通 IT 存储 方案 设计 、 部 署 和 运 
维 管理 以 及 诊断 和 故障 排除 。 
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简介 
HCNP-Storage 认证 定位 于 IT 领域 信息 存储 高 级 工程 师 或 存储 方案 专家 能 力 构建 。 
HCNP-Storage 认证 培训 教程 ， 适 用 于 华为 认证 网 络 存 储 资深 工程 师 以 及 准备 参加 
HCNP-Storage 认证 考试 的 人 员 , 通过 HCNP-Storage 认证 ,将 证 明 您 对 信息 存储 系统 、 
网 络 有 全 面 深 入 的 理解 ， 掌 握 存 储 系 统 和 网 络 (SAN、NAS、 灾 备 系统 ) 的 通用 技术 ， 
并 具备 独立 完成 信息 存储 、 数 据 保护 等 综合 解决 方案 的 部 署 、 运 维和 管理 : 
内 容 描述 
本 书 是 HCNP-Storage-CBDS (Huawei Certified Network Professional - 
Constructing Big Data Solution 华 为 认证 网 络 存储 资深 工程 师 一 构建 大 数据 解决 方案 ) ， 
培训 用 于 指导 学 员 学 习 HCNP-Storage-CBDS 认 证 考试 (H13-622 汶 相关 内 容 。 内 容 覆 
蔓 : 大 数据 概论 、 大 数据 的 产生 和 发 展 ， 大 数据 存储 技术 、 分 布 式 文件 系统 动态 以 及 动 
态 分 级 存储 ， 大 数据 存储 系统 部 署 与 管理 ，N8500 的 原理 特性 安装 配置 与 集群 ， 非 线性 
编辑 业务 〈 媒 资 场景 ) , 大 数据 存储 系统 故障 诊断 , OceanStor9000 和 OceanStorN8500 
的 故障 分 类 定义 诊断 ， 大 数据 存储 解决 方案 规划 设计 6 
Module 1 大 数据 概论 : 大 数据 概念 与 特征 ， 大 数据 产生 与 发 展 ， 大 数据 行业 实践 。 
Module 2 大 数据 存储 技术 : 分 布 式 数 据 可 靠 技术 筷 分 布 陈 文 件 系统 ， 动 态 分 级 存储 ， 
负载 均衡 ， 配 额 管理 扩 术 ， 高 速 互 联 与 接口 协议 ， 数 据 安 人 全， 集群 扩 术 ， 文 
件 系统 镜像 ， 文 件 系统 快照 ， 文 件 系统 复制 。 
Module 3 集群 NAS 系统 部 署 与 管理 :, 集群 NAS N8500 简介 ,集群 NAS N8500 原理 
与 特性 ， 集 群 NAS N8500 安装 与 配置 ， 集 群 NAS N8500 日 弟 运 维 。 
Module 4 大 数据 存储 系统 部 署 与 管理 : 大 数据 存储 简介 ， 大 数据 存储 原理 与 特性 ， 大 
数据 存储 系统 安装 与 配置 ， 大 数据 存储 日 党 运 维 
Module 5 集群 NAS 存储 系统 故障 处 理 : N8500 故障 处 理 的 原则 、 方 法 ，N8500 故障 
处 理 的 流程 ，N8500 分 类 故障 以 及 典型 问题 处 理 方法 ，N8500 故障 处 理 案 
例 。 
Module 6 大 数据 存储 系统 故障 诊断 : OceanStor9000 故障 分 类 和 定义 ， 
OceanSter9000 故障 诊断 流程 ，OceanStor9000 典型 故障 诊断 
Module 7 集群 NAS 存储 系统 规划 与 设计 : N8500 整体 规划 思路 ， 网 络 规划 ， 容 量 < 
文件 系统 规划 ， 文 件 共享 业务 规划 ， 性 能 优化 。 
Module 8 大 数据 存储 规划 与 设计 : OceanStor 9000 前 端 GE 后 端 10GE 组 网 部 署 方 
案 ，OeceanStor 9000 上 B 组 网 部 署 方案 ，OceansStor 9000 GE 组 网 部 署 方 


案 ; 


最 终 党 握 集 群 、NAS、 和 存储 虚拟 化 技术 及 应 用 ， 并 具备 独立 完成 集群 NAS 和 和 存储 
虚拟 化 解决 方案 的 规划 、 部 署 、 运 维和 管理 能 力 。 

读者 必 备 知识 背景 

本 课程 为 华为 认证 网 络 存 储 高 级 课程 ， 阅 读本 书 的 读者 应 首先 具备 以 下 基本 条 件 : 

1、 了解 存储 技术 和 SAN 和 NAS 架构 与 组 成 

2、 熟悉 SAN 存储 系统 配置 与 管理 

3、 熟悉 主流 OS 原理 和 安装 部 署 ， 熟 悉 设 备 管理 操作 


6 | 


熟悉 文件 系统 基本 知识 
熟悉 备份 、 容 灾 等 数据 保护 概 
有 初步 的 备份 项 目 实 施 经 验 


全 
/入 





本 书 弟 用 图 标 
以 太 网 交换 机 


光纤 交换 机 








HC1209201 大 数据 概述 


HC1209202 大 数据 存储 技术 .ee 


HC1209203 集群 NAS 系统 部 署 与 管理 
HC1209204 大 数据 存储 系统 部 署 与 管理 
HC1209205 集群 NAS 存储 系统 故障 处 理 . 
HC1209206 大 数据 存储 系统 维护 与 故障 诊断 
HC1209207 集群 NAS 存储 系统 规划 与 设计 


HC1209208 大 数据 存储 系统 规划 与 设计 
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HC1209201 大 数据 概述 以 
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目标 


。 学 完 本 课程 后 ， 您 将 能 够 
o 摘 述 大 数据 产生 、 概 念 和 特征 ; 
5 理解 大 数据 对 [的 需求 和 促进 因素 
o 了 解 大 数据 方 条 。 
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多 目录 


1. 大 数据 产生 与 特 操 
2， 六 数据 对 上 [的 需求 与 促进 
3， 大 数据 解决 万 采 
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大 数据 已 经 渗透 到 当今 每 一 个 行业 和 业务 职能 领域 ， 成 为 重要 的 生产 因素 。 人 们 对 于 
海量 数据 的 挖掘 和 运用 ， 预 示 着 新 一 波 符 产 率 增长 滔 潮 的 到 来 ， 其 实 ， 大 数据 在 科学 技术 
领域 和 军事 、 人 金融 、 通 讯 等 行业 并 不 是 新 和 名词 ， 然 后 其 真正 进入 人 们 的 视野 ， 引 起 人 们 的 
关注 却 是 因为 近年 来 互联 网 和 信息 行业 的 高 速 发 展 。 


0D Jo 


海量 数据 产生 
区 又 | SKYyPE, 二 二 YoulU Tube) 人 : Bai 夕 酸 
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2015 年 ， 数 据 将 达到 8ZB， 数 据 价值 $169 亿 
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随 看 人 类 科学 技术 的 进步 ， 信 息 的 爆炸 式 增 长 $ 人 类 社会 已 步 入 数字 化 时 代 。 我 们 每 
天 都 会 产生 和 面 对 大 量 的 数据 ， 同 时 ， 我 们 对 数据 的 需求 量 越 来 越 大 。 从 以 上 的 数字 我 们 
可 以 看 出 ， 数 据 量 级 已 发 生变 化 ， 数 据 价值 日 益 突显 。 相 应 的 ， 如 何 更 好 的 处 理 这 些 海 量 
数据 ， 已 经 成 为 一 个 重要 的 课题 。 


[ 


17 1 


海量 数据 的 管理 难题 


Sedarch 检索 Efficiency 效率 Store 存储 
海量 数据 如 何 实现 快速 的 数据 全 周期 管理 PB 级 的 非 结构 化 数据 和 TB 级 的 
查找 结构 化 数据 


查找 
X 
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。 Search 检索 问题 
o PB 级 文件 系统 搜索 (包含 归 类 查找 和 按 条件 模 糊 ) 
0 百 亿 记录 数据 的 快速 查询 
。 Efficiency 效率 问题 
0 数据 的 流动 性 
0 大量 冷 数据 的 归档 和 节能 
o 重 删 和 压缩 
。 Store 存储 问题 
9 文 持 >caleout 的 可 伸 绑 溢 构 
0 多 协议 (标准 接口 ) 支撑 和 多 租户 架构 
0 数据 的 可 靠 性 和 安全 性 
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在 实际 应 用 中 ， 数 据 因 不 同 的 应 用 场景 其 表现 方式 也 有 所 不 同 ， 根 据 在 不 同 应 用 中 数 
据 表 现形 式 的 不 同 ， 我 们 可 以 把 数据 区 分 成 不 同 的 类 型 ， 即 数据 类 型 。 如 : 电子 商务 数据 
、CRM 数 据 、 即 时 信息 、 电 子 邮 件 等 ,人 随 看 业务 应 用 的 丰富 多 样 ， 数 据 类 型 也 呈现 出 其 多 
样 性 。 不 同 的 数据 类 型 ， 其 数据 组 织 的 结构 、 属 性 、 存 储 方式 、 分 析 方 法 、 数 据 价 值 等 都 
存在 很 大 的 和 差异 ， 因 此， 对 数据 类 型 的 认 吉 和 分 析 将 是 大 数据 应 用 的 基础 。 


0D 了 190 
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结构 化 数据 与 非 结构 化 数据 


“Google, 百度 : 
1'“Facebook, Twitter ,新 浪 ..……， | 
“数据 以 非 结 构 化 处 理 为 主 


[en 
[oe] 


并 


n 

[9 

| 

pe ] 

ol: 

9、 ww 
1 


1 
L 


绪 半 式 匣 深入 


平均 1 个 P 数 据 中 


原 
生 
互 
联 
网 
Er 
司 


~3595 
Webpagealog 
5% 


网 络 XDR ( 探 针 俘获 后 ， 含 历史 ~25 % 
计 莹 CDR( 含 历史 15% 
联网 Web Page & Log( 含 历 由 3% 
+t 3 


进 


构 化 


遇 


二 


7% 
匠 据 ( 三 户 + 订购 + 接触 等 含 历史 ~12% 


分 析 汇 总 数据 ( 含 历史 ) ~18% 


:3 ~7% 


《 加 i 亲 i 于 虹 ) 
H 半 古 
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从 数据 结构 特征 来 分 类 ， 主 要 可 以 分 为 : 结构 化 数据 、 非 结构 化 数据 和 半 结 构 化 数据 


口 


结构 化 数据 即 指 可 以 用 二 维 表 结构 来 逻辑 表达 实现 的 数据 ， 简 单 来 说 就 是 数据 库 。 
比如 企业 ERP、 财 务 系统 、 医 疗 HIS 数 据 库 、 教 育 一 卡通 、 政 府 行政 审批 等 。 
非 结构 化 数据 ， 即 不 方便 用 数据 库 二 维 逻辑 表 来 表现 的 数据 。 包 括 所 有 格式 的 办 公 


文档 、 文 本 、 图 片 、XMLWHTML、 各 类 报表 、 图 像 和 首 频 /视频 信息 等 等 。 比 如 医 
疗 有 影像 系统 、 教 育 视 频 点 播 、 视 频 监 控 、 国 土 GIS$、 设 计 院 、 文 件 服务 器 ( 
PDMVFTP) 、 媒 体 资产 管理 等 。 


半 结 构 化 数据 < 包括 邮件 、HTML、 报 表 、 资 源 库 等 等 ， 典 型 场景 如 邮件 系统 、WEB 
集群 、 教 学 资产 库 、 数据 挖掘 系统 、 人 档案 系 统 等 等 。 


在 这 里 我 们 主要 分 析 两 类 大 数据 应 用 场景 ， 一 类 是 以 互联 网 为 代表 ， 其 ?0% 以 上 数据 都 
是 非 结构 化 数据 ， 如 Google, 百度 Facebook ，Twitter ,新 浪 等 ， 数 据 以 非 结 构 化 为 主 。 
另 一 类 以 运营 商 为 代表 ， 其 80% 以 上 是 结构 化 为 主 的 大 数据 。 针 对 这 两 种 大 数据 代表 形式 
， 在 业界 会 有 不 同 的 拉 术 处 理 方式 。 

大 数据 的 范畴 包含 结构 化 和 非 结构 数据 ， 非 结构 化 数据 的 增长 对 大 数据 的 促进 作用 相 
比较 更 大 、 更 明显 。 


多 


解构 大 数据 


实践 (Utilization) 


4- 个 人 的 大 数据 
3- 企 业 的 大 数据 
2- 政 府 的 大 数据 
1- 互 联网 的 大 数据 
技术 (Technology) 


理论 (Theory) 


(doopeH) 只 必 湖 新 出 寺 沙 -Z 
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我 们 可 以 从 理论 、 技 术 和 实践 3 个 维度 解剖 和 理解 大 数据 。 每 一 个 维度 ， 都 有 相应 的 研 
究 谍 题 、 天 联 扩 术 、 方 法 ， 在 后 续 的 课程 学 习 申 将 逐步 涉及 。 


DD 210 





大 数据 特征 


海量 的 数据 规模 
非 结构 化 数据 的 超大 规模 增长 ，IDC 预 计 
到 2020 年 全 球 数 据 量 将 达到 40ZB 


快速 的 数据 流转 和 动态 的 数据 体系 
实时 分 析 而 非 事 后 分 析 ， 低 延 时 其 发 访问 
， 是 大 数据 区 别 于 传统 数据 的 显著 

匈 祥 的 数据 类 型 


》 文件、 电子 邮件 和 视频 等 非 结构 化 信 
息 约 占 未 来 十 年 数据 序 符 量 有 的 90% 


巨大 的 数据 价值 

对 未 来 、 行 为 模式 等 的 预测 分 析 ， 一 部 
大 数据 四 大 特征 数 小 时 的 视频 ,可 能 有 用 的 数据 只 有 一 

两 秒 
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大 数据 的 特征 按照 业界 比较 认可 的 说 法 , 归 钠 为 4 个 “V” (海量 Volume， 多 样 


Variety, 


第 一 


大 全 一 


中 一 ， 


第 三 


第 四 ， 


[DD 20 


价值 Value， 和 束 Velocity) ,或 者 说 特点 有 四 个 层面 : 


， 数 据 体 量 巨 大 。 大 数据 的 起 始 计 量 单位 至 少 是 P (1000 个 1T) 、E (100 万 个 1) 或 
2 (10 亿 个 1) ，; 


数据 类 型 繁多 。 比 如 ， 网 络 日 志 、 视 频 、 图 片 、 地 理 位 置信 息 等 等 。 
， 价 值 密度 低 ， 商 业 价 值 高 。 
处 理 速度 快 。 最 后 这 一 点 也 是 和 传统 的 数据 挖掘 技术 有 着 本 质 的 不 同 。 


多 目录 


1， 大 数据 产生 与 特 操 
2. 大 数据 对 IT 的 需求 和 促进 
3. 大 数据 解决 方 采 
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[| 过 3 


效 据 应 用 中 的 性 能 与 容 


省 规模 随机 
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存储 性 能 要 求 


Gigabytes Terabytes Petabytes Exabytes 
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0D 240 


大 数据 对 技术 要 求 N 


对 应 挑 厂 | 世 


we 上 、 。 数据 可 视 化 
数据 分 析 “SH sn. 商业 御 能 、 数 所 入 


大 数据 分 析 技 术 
二 一 六 Velocity 快速 “并行 计算 ( 批量 计算 、 流 计算 ) 


”“” 非 结构 化 : 分 布 式 文 件 /对 象 系统 
半 结 构 化 : NoSsQI 激 据 库 
结构 化 s 分 布 式 数据 库 
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从 大 数据 在 容量 、 数 据 多 样 性 、 处 理 速度 和 价值 挖掘 等 四 个 方面 所 面临 的 挑战 看 ， 大 
数据 扩 术 涵 关 了 从 数据 的 海量 存储 、 处 理 到 应 用 的 多 方面 的 扩 术 ， 包 括 异 构 数 据 产 融合 、 
海量 分 布 式 文件 系统 、NoSQL 数 据 库 和 并行 计算 框架 、 实 时 流 数 据 处 理 以 及 数据 挖掘 、 商 
业 智 能 和 数据 可 视 化 等 。 


一 个 典型 的 大 数据 处 理 系统 可 分 为 页 层 : 数据 采集 、 和 存储、 处 理 、 分 析 、 应 用 及 展现 
等 ， 其 拉 术 参考 尿 构 如 图 所 示 : 
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26 中 


大 数据 推动 [T 染 构 演 进 (一 ) 


。 应 用 独 卢 主 机 祖 多 应 用 共享 大 规模 资源 闻 


App1 App2 ”” Appn X 


App1 App2 Appn 


Cloud OS 


[os Los) Ee 


小 型 机 /服务 器 云 基础 设施 资源 池 
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大 数据 推动 生来 构 演 进 二 ) 


。 上 基础 设施 飞 构 从 以 计算 为 中 心 > 以 数据 为 中 心 


大 规模 并 行 处 理 
~/Y 持久 化 内 存 
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大 数据 对 存储 技术 促进 (一 ) 





数据 保护 “数据 流动 ”数据 管理 
。 快 照 ”动态 分 层 ' “归档 /市 能 /Worm 
,远程 复制 策略 驱动 : 。 重 删 、 压 缩 


.EC ”快速 搜索 和 分 类 


全 局 命名 空间 


NIelfele[S 
Nlele[S 
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。 接口 
o NFS/CIFS/Posix 接 口 支持 非 结构 化 数据 的 存 取 
o HDFS 接 口 兼容 Hodoop 分 析 平 台 
o XDBC 和 SQL 语 法 支持 数据 库 访 问 方式 
o ” Rest 接口 支 持 对 象 存储 
。 特性 


o 大 数据 的 海量 、, 分 布 式 以 及 其 应 用 可 感知 等 特点 决定 了 1 其 保护 方式 区 别 于 传统 
Raid 和 传统 的 备份 


0 大 数据 的 数据 结构 和 特征 的 多 样 性 决定 了 需要 合理 的 分 层 和 数据 流动 来 保证 
go Capex 和 @ 〇 pex 
no 大 数据 的 海量 和 多 样 使 其 管理 维护 更 加 困难 
。 基础 架构 
~ 全 局 命名 空间 
o~\ 横 回 扩展 
6 多 租户 架构 


[| 2 


大 数据 对 存储 技术 促进 (二) 


更 高 效 的 | 
网 络 传输 
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大 数据 应 对 拷 术 发 展 趋势 


数据 应 用 ce vr Google EE 和 本 ; 
发 展 趋势 二 [i 二 二 Google | Ee Sm 9 A S 区- 局 
报表 仪表 盘 广告 推荐 精准 营销 以 客户 画像 为 基础 的 业务 ”生活 助理 “机 器 人 


> 矢口 台 ~ 
2 统计 分 析 OLAP 分 析 预测 分 析 4 


FF 全 


\ 扩 、 | 已 ORACLE ws qr re ceepm 2. 
发 展 交 势 IBM 0" 4 se onc Wn 
R NOsSQLDB MPP DB ”分 布 式 内 存 计算 技术 


| 者 光 殉国: 


HP 小 型 机 ”IBM 小 型 机 ”X86 机 架 服 务 器 | 及 服务 器 


2011 2013 2015 201x 
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。 数据 应 用 发 展 趋势 


0 ”报表 仪表 盘 中 展现 户 广 告 /推荐 /视频 质量 提升 /网 络 质量 提升 /精准 营销 访客 尸 画 像 
为 基准 的 业务 


。 数据 智能 : 统计 分 析 >OLAP > 数据 挖掘 与 机 器 学 习 / 实 时 决策 
a 统计 分 析 : 从 手工 统计 y 到 天 规模 统计 计算 ， 到 现在 的 实时 统计 ， 分 布 式 实时 统 
计 是 当前 的 主旋律 。 
o OLAP 分 析 : 预定 闫 多维 报表 ， 到 T 级 ROLAP 在 线 分 析 ， 演 进 到 分 布 式 的 T 级 ，P 级 多 
维 分 析 (MOLAP) 和 Ad hoc 分 析 


o 预测 分 析 : 从 基于 历史 数据 的 统计 预测 ， 发 展 到 机 器 的 挖掘、 自学 习 智 能 的 实时 
预测 能 力 。 


。 存储 计算 


0 天 系 型 数据 库 ?> 分 布 陈 天 系 型 和 非 天 系 型 数据 存储 计算 > 分 布 内 存 分 析 计 算 / 硬 
件 计算 技术 


。 大 数据 硬件 : 小 型 机 ?通用 服务 器 硬件 (X86) 


反 术 发展 方 向 : 基于 X86 通 用 服务 器 ， 提 供 非 结构 化 数据 /结构 化 数据 存储 、 融 合 分 析 
能 力 ， 完 成 数据 生命 周期 一 体 化 管理 ， 文 撑 业 务 准 确 决 策 、 提 升 运 作 效 率 和 业务 创新 能 力 


O 
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多 目录 


1， 大 数据 产生 与 特 所 





2， 六 数据 对 上 T 的 需求 
3. 大 数据 解决 方案 
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大 数据 存储 解决 方案 


Cloud OS 


分 析 ”gh 所 全 竺 书 局 凑 闪 娃 
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| | 丰富 的 增值 软件 及 对 
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互联 网 大 数据 解决 万 案 - HADOOP 


MapReduce Hbase 
分 布 式 并 行 处 理 架 构 非 关系 型 数据 库 


HDFS- 分 布 式 文件 系统 





>、 
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针对 以 非 结 构 化 数据 为 主 的 互联 网 大 数据 技术 处 理 拉 术 比较 有 代表 性 的 是 Hadoop。 
Hadoop 是 一 种 开源 的 对 大 规模 数据 进行 分 布 臣 处 理 的 拉 术 框 染 ， 在 处 理 大 数据 中 非 结 构 
化 数据 上 有 看 性 能 和 成 本 方面 的 优势 。 


Hadoop 主 要 分 为 三 个 部 分 ， 分 别 是 : HDFS (Hadoop Distributed File System) 分 布 式 文 
件 系统 、Hbase (Hadoop Database) 韭 天 系 型 数据 库 和 MapReduce 分 布 式 并 行 处 理 染 构 。 


34 0 


Hadoop 大 数据 分 析 ， 


output 


lit 0 
reduce = 
split 1 
split 2 
split 3 


2 LT 
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Apache Hadoop 是 一 个 用 java 语 言 实现 的 软件 框 染 ， 在 由 大 量 计算 机 组 成 的 集群 中 
运行 海量 数据 的 分 布 式 计算 ， 它 可 以 府 应 用 程序 支持 上 干 个 节点 和 PB 级 别 的 数据 。 
Hadoop 是 项 目的 总 称 ， 主 要 是 由 分 布 式 存储 (HDFS) 、 分 布 式 计算 (MapReduce) 
等 组 成 。 

HDFs 是 一 个 高 度 容 错 性 的 分 布 陈 文件 系统 ， 能 提供 高 吞吐 量 的 数据 访问 ， 非 常 适合 大 
规模 数据 集 上 的 应 用 。 

oo NameNode: 可 以 看 作 是 分 布 式 文件 系统 中 的 管理 者 ， 存 储 文件 系统 的 meta- 
data， 主 要 负责 管理 文件 系统 的 命名 空间 ， 集 群 配置 信息 ， 存 储 块 的 复制 

o DataNode4s 是 文件 存储 的 基本 单元 。 它 存储 文件 块 在 本 地 文件 系统 中 ， 保 存 了 
文件 块 的 meta-data ， 同 时 周期 性 的 发 送 所 有 存在 的 文件 块 的 报告 给 
NameNode,。 

o Client: 就 是 需要 获取 分 布 式 文件 系统 文件 的 应 用 程序 。 

Mqp (映射 )/ 和 Reduce (化 简 ) ， 采 用 分 而 治之 思想 ， 先 把 任务 分 发 到 集群 多 个 节 
点 上 ,/ 并 行 计 算 ， 然 后 再 把 计算 结果 合并 ， 从 而 得 到 最 终 计算 结果 。 多 节点 计算 ， 所 涉及 
的 任务 调度 .负载 均衡 、 容 错 处 理 等 ， 都 由 MapReduce 框 架 完成 ， 不 需要 编程 人 员 关 心 
这 些 内 容 。 

e。 TGSKTracker: Map/Reduce 任 务 执 行 


。 JobTracker: 任务 调度 ， 监 控 


0D 232 


总 结 


。 大 数据 产生 与 特 所 
。 大 数据 对 [的 需求 和 促进 
。 大 数据 解决 方案 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 23 CD HUAVWEI 


[| 360 


。 大 数据 的 特点 有 哪儿 个 ? 与 结构 化 和 非 结构 化 数据 有 什么 关系 ? 
。 大 数据 对 IT 或 存储 的 需求 有 哪 几 个 方面 ? 
。 大 数据 解决 方案 的 最 终 价 值 有 哪些 ? 
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HC1209202 
第 二 草 大 数据 存储 技术 





目标 


。 学 完 本 课程 后 ， 您 将 能 够 : 
o 接 述 大 数据 存储 染 构 
o 理解 大 数据 存储 技术 
o 了 解 大 数据 分 析 技 术 
o 了 解数 据 安 全 技术 
o 理解 集群 NAS 技 术 
o 理解 文件 系统 分 级 存储 
o 理解 文件 系统 快照 、 镜 像 、 复 制 
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多 目录 


1. 大 数据 存储 架构 
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大 数据 存储 来 构 


传统 存储 业务 海量 数据 业务 


Big data < 





Map-Reduce Interface |‖|HDFs?> p> 


OSLD 


high-OPS node large-capacity node high-bandwidth node | 
10GE iWARP 
/Infiniband 
3 
Servers: General X86 open architecture 
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。 华为 大 数据 存储 解决 方案 OceansStor 9000 架 构 特 点 : 


44 


口 


融合 ycale-ouf NAS、Scaqle-ouh Database 和 和 Scale-out Backup， 实 现 多 位 一 
体 ， 面 加 大 数据 存储 的 集群 存储 系统 。 

竺 一 个 系统 内 实现 了 分 布 式 存储 、 分 布 式 备份 以 及 分 布 式 数据 分 析 的 一 体 化 全 生 
命 周 期 管理 ， 在 数据 统一 调度 模块 的 调度 下 ， 数 据 在 多 域 间 有 效 流 动 。 
采取 分 布 式 染 构 , 4 系统 在 初始 时 可 以 使 用 较 小 的 配置 ， 降 低 CAPEX(Capital 


Expenditure 基本 建设 费用 支出 ) 开 销 ， 随 着 业务 量 的 增加 ， 客 户 可 以 方便 扩容 ， 
以 实现 应 需 而 变 。 


Scale-out 架 构 


| Distributed FS 


FC/10GE/ FC/IOGE/ 3 1 拉 
rifiniband Infiniband 
' ' ' 文件 数据 保护 策略 
忆 全 
次 据 定期 巡 检 
局 闵 件 生命 周期 策略 
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cale-ouf 是 横 回 扩展 的 一 种 架构 ， 这 种 架构 主要 应 对 数据 的 快速 增长 和 复杂 变化 带 来 
的 需求 和 挑战 。 有 关 SaCcle-out 架 构 中 的 特征 主要 有 : 分 布 处 理 、 在 线 扩 展 、 数 据 共享 
、 集 群 化 。 


分 布 陈 存储 ， 分 布 式 数据 库 都 具备 横 问 扩展 能 


中 
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多 目录 


大 数据 存储 技术 
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传统 存储 与 对 象 存储 


Virtual View A Virtual View B 


File names /inodes Objects / OIDs 


Traditional Virttal 
Hierarchical 
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传统 数据 存储 方式 是 将 磁盘 映射 成 分 块 ， 文 件 系统 管理 分 块 ， 并 使 用 元 数据 来 标记 分 
块 使 用 情况 。 对 象 存储 访问 不 天 注 分 块 , 看 到 的 是 一 个 个 的 对 象 ， 上 层 使 用 对 象 名 来 访问 
。 这 种 对 象 系统 通常 是 局 平 化 的 ， 区 别 于 文件 系统 。 

虚拟 化 借鉴 了 两 种 优势 ， 一 方面 把 底层 以 对 象 方式 管理 ， 简 化 了 管理 方式 和 元 数据 开 
销 ; 另 一 方面 ， 上 层 在 虚拟 出 的 对 象 基础 上 仍然 构建 成 文件 系统 树 形 结构 。 


[ 
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大 数据 存储 扩 林 一 分 布 陈 对 象 唤 产 池 


-J 
* 
U 


"DOD 
一 
于 
一 * 
“< 于 


< 一 
i 
i 
i 
' 
Wi 


Wo 
™e 
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对 和 象 是 对 和 象 存 储 的 基本 单元 ， 每 个 Object 是 数据 和 数据 属性 集 的 综合 体 。 数 据 属性 可 
以 根据 应 用 的 需求 进行 设置 ， 包 括 数据 分 布 、 油 务 质量 等 。 在 传统 的 存储 中 ， 块 设备 要 记 
录 每 个 存储 数据 块 在 设备 上 的 位 置 。@bijseei 维 护 自己 的 属性 ， 从 而 简化 了 存储 系统 的 管 
理 任务 ， 增 加 了 灵活 性 。 


Oceanstor ?9000 的 分 布 式 文件 系统 ， 是 以 底层 的 集群 对 象 存储 系统 为 基础 的 。 
Oceanstor 9000 集群 对 象 存 储 系统 是 一 种 基于 对 象 的 存储 系统 ， 具 有 高 并 发 、 高 吞吐 量 
等 优点 。 


Oceanstor ?000 分 布 式 文 件 系统 的 数据 和 元 数据 ， 经 过 数据 条 带 化 过 程 ， 生 成 的 分 片 
和 条 带 ， 按 列 组 合成 对 象 ， 最 终 以 对 象 的 方式 存储 到 集群 对 象 存储 系统 中 。 以 一 个 3+1 方 
式 保护 的 文件 数据 举例 、 如 图 中 所 示 。 


Oceanstor42000 集 群 对 象 存储 系统 可 以 进行 自 管 理 。 它 不 间断 地 监视 着 系统 内 硬盘 的 
使 用 状况 ， 当 检测 到 有 负载 不 均衡 发 生 时 ， 它 会 自动 发 起 对 象 迁 移 ， 使 系统 重新 达到 负载 
均衡 。 当 有 硬盘 或 者 节点 损坏 时 ， 集 群 对 象 存储 系统 会 自动 发 现 故障 ， 并 自动 发 起 对 象 级 
别 的 数据 恢复 六 这 些 受 损 的 对 象 会 选择 不 同 的 节点 和 硬盘 作为 恢复 目标 ， 并 发 地 执行 恢复 
过 程 .< 这样 Oceanstor 9000 系 统 可 以 达到 非常 高 的 数据 恢复 速度 ， 提 高 了 数据 的 安全 
性 。 
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大 数据 存储 技术 --Erasure code 


| 
EN EN EE EE 
"2 
1 
1 


司 目 上 电导 目 园 蔷 蔡 


中 数据 瑟 入 时 修 切 割 成 M 个 数据 块 
GO 经 过 纠 错 编 码 生 成 N 个 多余 校 验 块 , 共 M+N 份 数据 
(3 系统 将 多 个 数据 块 并 行 的 存储 于 不 同 的 节 扣 中 


@ 当 存储 节点 损坏 时 ， 数 据 恋 写 正常 ， 剩 余数 据 块 及 几 余 块 后 合 参 与 并 将 数 
据 恢 复 
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Eraqsure code 风 余 技 术 是 RAID 的 超 集 ,。 能 够 安 持 比 传 统 RAID 算 法 更 高 的 可 靠 性 和 更 灵 
活 的 见 余 策略 。Erqsure Code 对 文件 进行 原始 分 片 (M 份 ) ， 将 对 象 分 ?天 成 固定 长 度 的 
数据 块 ， 每 M 个 连续 数据 块 通过 Erasufe Cede 算 法 计算 出 N 个 校 验 块 (N<M) ， 这 M 个 
数据 块 和 NN 个 校 验 块 组 成 一 个 数据 块 组 并 保存 在 不 同 的 硬盘 上 。 在 Erasure Code 和 存储 模式 
下 ， 系 统 最 多 支持 N 块 硬盘 失效 ，AM+N) /M=1.x 即 为 保存 的 数据 副本 系数 。 


Oceanstor 9000 系 统 可 以 对 目录 7Y 文 件 配置 不 同 的 数据 保护 方式 。 不 同 的 数据 保护 方 
式 ， 是 通过 不 同 的 数据 条 市 化 方式 实现 的 。 使 用 Erasure Code 方 式 时 ， 写 入 Oceanstor 
2000 系 统 的 数据 ， 会 按照 128KB 为 一 个 分 请 ， 切 分 为 多 个 源 数 据 分 片 ， 然 后 对 每 M 个 源 数 
据 分 片 ， 计 算得 到 NN 个 宛 余 数据 分 片 ， 最 终 每 M+N 个 分 片 组 成 一 个 条 带 ， 写 入 到 系统 中 。 
当 系 统 出 现 故 障 ， 于 失 了 其 中 的 某 些 分 片 时 ， 只 要 一 个 条 囊 中 丢失 的 分 片 数目 不 超过 N ， 
仍 可 进行 正常 的 数据 读 写 x 通过 数据 恢复 算法 ， 丢 失 的 分 片 可 从 剩余 分 片 中 计算 得 到 。 在 
这 种 方式 下 ， 空 间 的 利用 率 约 为 MUM+Nj ， 数 据 的 可 靠 性 由 N 值 的 大 小 决定 ，N 越 大 可 人 靠 
性 越 高 。 使 用 镜像 方式 时 ， 写 入 OceanStor ?000 的 数据 也 将 按照 128KB 进 行 切 片 ， 不 同 
的 是 ， 系 统 对 每 个 产 数 据 分 片 ， 都 会 按照 复制 的 方式 存储 为 多 份 ， 只 要 其 中 任意 一 份 不 损 
坏 ， 就 到 进 行 正 常 地 读 写 。 执 行 数据 恢复 时 ， 丢 失 的 镜像 数据 直接 从 完好 的 数据 中 复制 即 
可 。 同 样 ， 系 统 可 以 配置 不 同 的 镜像 数目 ， 以 得 到 不 同 的 空间 利用 率 和 数据 可 靠 性 。 另 外 

,Oceansior ?9000 的 分 布 陈 文件 系统 的 元 数据 ， 采 用 的 残 是 镜像 的 存储 方式 ， 并 且 对 于 
覆 置 子 M+N 保 护 方式 的 文件 来 说 ， 其 元 数据 的 镜像 数 自动 设 定 为 N+2 份 ， 这 使 得 
Oceanstor 9000 分 布 式 存储 系统 的 元 数据 的 可 靠 性 高 于 其 数据 。 
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对 象 存储 数据 写 流程 SS 
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数据 写 的 过 程 : 

Q@ 用 户 上 传 的 对 象 数据 被 切 分 成 若干 固定 长 度 的 数据 块 。 

G@O) 每 M 个 数据 块 通过 Erasure Code 算 法 计算 出 NN 个 见 余 校 验 块 (N<M) 。 这 M 个 数据 
块 和 NN 个 校 验 块 组 成 一 个 数据 块 组 ， 图 中 的 数据 块 D1~Dm 和 校 验 块 P1~Pn 组 成 一 
个 数据 块 组 。 

@G) 数据 块 组 中 的 数据 块 和 校 验 块 随机 保存 到 不 同 存 储 节 点 的 不 同 硬盘 上 。 


对 象 存储 数据 读 取 流 程 S 
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。 数据 读 取 过 程 : 
Q@ 系统 读 取 保存 于 不 同人 硬盘 上 的 数据 块 。 
@ 系统 将 读 取出 来 的 所 有 数据 块 合并 成 完整 的 对 象 数据 返回 给 用 户 。 


[| 21 


数据 块 损坏 时 的 数据 读 取 和 恢复 
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。 数据 恢复 过 程 : 
Q@ 系统 读 取 保存 在 不 同 硬 盘 上 的 M 个 数据 块 。 
@ 发 现 有 数据 块 损坏 ， 读 取 校 验 块 。 


(3 根据 读 取 出 来 的 数据 块 和 校 验 块 ;$; 通 过 Erqsure Code 算 法 恢复 损坏 的 数据 块 ， 然 后 
将 完整 的 M 个 数据 块 返回 给 系统 。 


@ 系统 将 谈 取 出 来 的 所 有 数据 块 合 并 成 完整 的 对 象 数据 返回 给 用 户 。 
@) 系统 将 恢复 出 来 的 数据 抉 存 入 其 他 正常 工作 的 硬盘 上 。 


如 果 单 个 数据 块 组 中 损坏 的 数据 块 和 校 验 块 六 和 大 于 N， 系 统 会 以 更 细 粒 度 的 数据 块 重 
新 读 取 数据 (例如 : 64KBy 正常 情况 下 ， 系统 必 是 以 1MB 的 数据 决 粒 度 读 取 数据 ， 晨 斌 
恢复 每 个 已 损坏 数据 块 中 可 谈 取 的 数据 。 通 过 这 种 数据 部 分 修复 的 方式 ， 系 统 可 以 最 大 程 
度 地 减少 损坏 的 对 所 块 和 校 验 块 数量 


注意 : 如果 大 于 N 个 数据 块 和 校 验 块 损坏 且 系 统 通过 部 分 修复 方式 无 法 使 损坏 的 数据 
块 和 校 难 块 数量 小 于 或 等 于 N， 丢 失 的 数据 将 无 法 恢复 。 


DD 320 


元 数据 宛 余 N 


+ t+ 
-中 点 ] Jay ZNY Jay HH 点 5 


NW, HuAwel 





元 数据 和 数据 一 样 都 是 使 用 亡 点 间 风 余 方式 通过 镜像 实现 ， 每 一 份 都 是 一 个 独立 完 
整 的 拷贝 。 


中 33 


EC 快速 效 据 恢 复 


。 系统 中 每 个 硬盘 都 属于 多 个 NLUN 
。 硬盘 故障 时 ,会 选 出 4 个 目标 盘 出 来 进行 恢复 
。 每 个 目标 盘 的 恢复 是 独立 的 ， 目 标 盘 之 间 的 恢复 可 以 并 发 
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以 图 中 节点 3 硬盘 2 为 例 ， 同 时 属于 4 个 NLUNG( 四 个 不 同色 块 ); ， 当 这 个 盘 故 障 时 ,会 选 
出 4 个 目标 盘 出 来 进行 恢复 ， 数 据 会 分 别 在 4 个 目标 盘 上 被 恢复 出 来 。 由 于 每 个 目标 盘 的 恢 
复 是 独立 的 ， 目 标 盘 之 间 的 恢复 可 以 并 发 所 以 恢复 速度 较 高 (阵列 中 类 似 的 故障 下 目标 
盘 只 有 一 个 )。 在 实际 系统 中 ， 一 个 盘 所 属 的 的 NLUN 数 将 超过 12 个 ， 可 达到 每 小 时 1TB 的 
恢复 能 

同时 ， 可 以 配置 任意 时 间 段 内 恢复 的 优先 级 ， 优 先 级 分 为 高 、 中 、 低 三 档 ， 默 认 优 先 
级 是 中 。 优 先 级 体现 了 数据 恢复 对 系统 性 能 的 影响 ， 优 先 级 越 高 对 系统 性 能 影响 越 大 。 

0 高 优先 级 : 影响 不 超过 50% 
o 中 优先 级 : 影响 不 超过 30%% 


0 ” 低 优 先 级 : 影响 不 超过 10% 


当 发 生 节 点 或 硬盘 故障 时 ， 故 障 节 点 所 提供 的 服务 会 局 动迁 移 至 集群 中 的 其 他 市 护 ， 
保证 业务 正常 运行 。 当 故 障 太 点 或 硬盘 恢复 时 ，OceansStor 9000 可 通过 节操 间 数 据 重 构 


的 方 陈 快速 恢复 所 丢失 的 数据 ， 保 证 整 系统 的 数据 高 可 靠 性 。 包 括 以 下 几 种 情况 : 
0 ,各 人 硬盘 故障 后 在 10 分 钟 内 恢复 
pn、 系统 目 动 局 动 硬 盘 数 据 恢复 ， 且 仪 恢复 故障 期 间 变 化 的 数据 
0 契 便 盘 故 障 后 超过 10 分 钟 恢复 
o 系统 月 动 启动 硬盘 数据 恢复 ， 但 需 恢复 故障 前 已 存储 数据 和 故障 期 间 变 化 的 数据 
0 节点 故障 恢复 后 ， 系 统 目 动 局 动 节点 数据 恢复 ， 且 仅 恢 复 故 障 期 间 变 化 的 数据 
0 ”过 网 官 手工 执行 全 量 数据 恢复 
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里 一 文件 系统 8 统一 文件 系统 命名 空间 


应 用 服务 器 


WushanFS 
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Oceqanstor 9000 对 外 提供 统一 的 文件 系统 命名 空间 。 用 户 存储 文件 、 设 置 共 享 、 管 理 
权限 的 操作 对 和 象 均 位 于 该 命名 空间 内 。 统 一 的 命名 空间 可 以 使 用 和 管理 当前 系统 的 全 部 可 
用 容量 。 


命名 空间 在 Oceanstor ?000 局 动 时 自动 创建 ， 其 名 称 与 系统 命名 保持 一 致 。 各 共享 目 
录 均 为 命名 空间 的 子 目 录 。 同 时 命名 空间 作为 整个 系统 的 根 目录 ， 也 可 以 被 共享 和 访问 。 


统一 的 命名 空间 为 用 尸 提供 统 寺 的 存储 资源 池 ， 实 现 对 存储 空间 的 集中 管理 和 分 配 。 
当 进 行 扩容 时 ， 新 增 容量 可 直接 纳入 资产 池 使 用 ， 避 免 维护 多 个 文件 系统 。 


Wushan 分 布 式 文件 系统 对 外 提供 CIFS/NFS 访 问 接口 ， 即 最 终 用 户 以 文件 名 来 操作 文 
件 ， 那 么 文件 命名 的 有 效 范 围 束 称 之 为 命名 空间 。 


通常 一 个 本 地 六 件 系统 ， 如 ext3 文 件 系统 ， 一 个 命名 空间 只 能 与 一 合计 算 机 或 文件 系 
统 相关 联 ， 本 地 文件 系统 将 元 数据 和 数据 都 存储 在 本 地 磁盘 ， 访 问 文件 数据 时 文件 系统 首 
乞 从 本 地 磁盘 读 取 元 数据 信息 ， 然 后 通过 元 数据 信息 得 知 文 件数 据 在 本 地 磁盘 存储 的 布局 
和 位 置 ， 再 去 读 与 本 地 磁盘 完成 访问 文件 操作 。 


Wushqna 分 布 式 文件 系 采 用 全 对 称 结构 ， 将 整个 系统 的 所 有 节操 的 存储 容量 组 成 一 个 大 
的 虚拟 存储 池 ， 元 数据 和 数据 保存 在 每 个 太 点 上 ， 每 个 广 操 都 是 元 数据 服务 器 同时 也 是 数 
据 服务 器 ， 访 问 文件 数据 时 Wushan 文 件 系 统 首先 定位 到 文件 所 归属 的 元 数据 服务 器 ， 然 
后 通过 元 数据 服务 器 获取 文件 的 数据 分 布 ， 即 获取 文件 分 布 在 哪些 万 点 上 以 及 在 世 点 上 的 
具体 位 置 ， 再 去 访问 去 这 些 世 点 完成 数据 读 与 操作 。 
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分 级 存储 技术 


分 级 存储 满足 用 户 既 需要 高 性 能 访问 也 需要 大 容量 存储 的 双重 需求 。 
允许 用 户 目 行 规划 目 己 的 业务 ， 对 目 己 的 业务 进行 分 级 ， 把 某 些 重要 的 业务 放 在 性 
能 较 局 的 卫 凡 上 。 


人 @》 热 数 据 。 全 普通 数据 = 塘 冷 数据 
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。 动态 分 级 存储 的 特点 : 
9 支持 不 同类 型 节点 间 分 级 存储 
9 基于 自 定义 的 分 级 策略 
o 支持 文件 大 小 、 路 径 、 时 间 属 性 、 ,IO 热度 等 策略 
0 无 颖 地 适应 业务 变更 ， 而 不 会 影响 应 用 程序 
5 将 多 个 应 用 程序 整合 到 单个 存储 系统 中 ， 消 除了 数据 移动 且 简 化 了 管理 


Oceansfior 3000 动 态 分 级 存储 人 允许 将 同一 个 文件 系统 内 的 物理 节 扣 划分 成 不 同 的 太 扎 
池 。 节 点 池 是 指 具 有 相同 特征 (物理 类 型 /访问 性 能 ) 的 节点 的 集合 。 文 件 池 是 符合 东 些 特征 
的 文件 的 集合 ， 而 文件 池 索 略 则 是 定义 文件 池 如 何在 节点 池 中 存放 的 规则 。 


动态 分 级 存储 允许 用 户 基 于 文件 池 策略 定义 工作 流 中 数据 的 价值 。 将 高 价值 (重要 } 的 文 
件 放置 在 高 可 用 性 、 高 性 能 〈 相 应 地 ， 成 本 也 非常 高 ) 的 存储 设备 上 ; 低 价值 (不 太 重要 ) 
的 文件 放置 在 成 本 较 低 的 、 性 能 和 可 用 性 规格 较 低 的 设备 上 。 动 态 分 级 存储 是 根据 文件 池 
策略 触发 ， 自 动 进行 数据 的 迁移 ， 对 业务 访问 透明 ， 不 会 对 业务 造成 影响 。 系 统 支持 根据 
物理 节点 类 型 自动 生成 节点 池 ， 包 括 高 性 能 节点 池 ， 高 带宽 节点 池 ， 大 容量 节点 池 。 在 站 
署 和 扩容 时 系统 会 按照 节点 所 属 的 物理 类 型 将 节点 加 入 到 对 应 的 节点 池 。 支 持 手 工 增删 节 
点 池 ， 在 部 团 或 扩容 时 将 节点 加 入 到 指定 的 节点 池 中 。 支持 手工 增删 节点 池 ， 在 部 署 或 扩 
额 时 将 节点 加 入 到 指定 的 节点 池 中 。 

在 系统 运行 过 程 中 允许 对 已 经 加 入 节点 池 的 节点 进行 手工 调整 ， 将 其 从 一 个 节点 池 移 
到 另外 一 个 节点 池 中 。 具 体 做 法 为 将 节点 从 现 有 节点 池 中 删除 ， 再 将 该 节点 加 入 到 另 一 节 
点 池 中 。 需 要 注意 的 是 当前 节点 池 中 的 节点 个 数 必须 能 满足 已 经 配置 的 保护 级 别 N+M 个 
， 理 则 会 因为 会 降低 当前 数据 的 保护 级 别 而 无 法 删除 ， 在 此 种 情况 下 只 能 删除 整个 节点 池 
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分 级 存储 技术 


分 级 存储 满足 用 户 既 需要 高 性 能 访问 也 需要 大 容量 存储 的 双重 需求 。 
允许 用 户 目 行 规划 目 己 的 业务 ， 对 目 己 的 业务 进行 分 级 ， 把 某 些 重要 的 业务 放 在 性 
能 较 局 的 卫 凡 上 。 
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系统 最 多 可 以 配置 64 个 节点 池 ， 每 个 节点 池 蔡 沙包 括 3 个 物理 节点 ， 否 则 该 节点 池 的 状 
态 为 “不 可 用 ”。 ”建议 节点 池 中 的 节点 为 间 一 物理 类 型 的 节点 ， 否 则 该 节点 池 的 性 能 将 
会 收 到 影响 。 系 统 会 统计 节点 池 磁 盘 空间 的 使 用 情况 ， 如 果 空 闲 的 磁盘 空间 超过 系统 设置 
的 低 水 位 ， 则 不 允许 新 的 文件 存放 /迁移 到 该 节点 池 。 


系统 同时 也 会 产生 告警 ， 提 醒 用 户 进行 扩容 或 者 修改 文件 池 策 略 。 系统 文 持 基于 文件 
属性 以 及 MO 热度 定义 文件 池 策 略 ， 包 括 文件 存放 路 径 ， 文 件 名 ， 文 件 大 小 ， 创 建 时 间 ， 
修改 时 间 ， 访 问 时 间 ，UID/SID ，MO 热 度 ，MO 访 问 次 数 。 文 件 池 策略 包括 文件 特征 定义 
以 及 存放 该 文件 池 的 节点 池 ID/ 名称。 


文件 池 策 略 分 为 3 种 尺 cregte, relocate，,，delete。 


90 Create 策略 用 于 创建 文件 时 确定 文件 的 初始 放置 位 置 ， 该 类 策略 条 件 包 括 : 存 
放 路 径 4 文件 名 ，UID/SID。 可 以 配置 默认 文件 池 策 略 ， 该 策略 无 任何 条 件 ， 只 
有 对 应 的 扣 池 。 缺 省 策略 用 于 确定 无 法 匹配 其 他 create 文 件 池 策略 的 文件 存放 
位 置 。 


o Relocafe 策 略 用 于 确定 文件 迁移 的 目标 位 置 。 该 类 策略 条 件 包 括 : 文件 存放 路 
径 ,> 文件 名 ， 文 件 大 小 ， 创 建 时 间 ， 修 改 时 间 ， 访 问 时 间 ，UID/CSID ，MO 热 度 
，1/O 访 问 次 数 。 这 些 条 件 之 间 是 “与 ”的 关系 ， 不 输入 表示 不 匹配 该 属性 ， 只 
有 同时 满足 这 些 输 入 的 条 件 的 文件 才 会 迁移 到 对 应 的 节操 池 中 。 


0 Delete 策 略 用 于 确定 何 时 将 文件 从 系统 中 删除 。 需 要 注意 的 是 该 策略 使 能 后 文件 
将 不 能 恢复 ， 需 要 谨慎 使 用 配置 该 策略 。 该 类 策略 的 条 件 为 : 存放 路 径 ， 创 建 时 
间 ， 修 改 时 间 ， 访 问 时 间 ，UID/CID。 
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镶 能 负载 均 街 


在 所 有 节点 间 自 动 进行 负载 均衡 
自动 平衡 容量 和 性 能 


IP 的 故障 切换 (fgilover) 和 故障 恢 
复 (failback) 无 需 人 工 干预 = 无 


一 、 ” 需 更 改 配置 
“Oceansior9000 < \ - 


对 应 用 透明 
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负载 均衡 (又 称 为 负载 分 担 ) ， 美 文 名 称 为 Leed Bolance， 其 总 思 就 是 将 负载 (工作 
任务 ) 进行 平衡 、 分 摊 到 多 个 操作 单元 上 进行 执行 ， 例 如 Web 服 务 器 、FTP 服 务 器 、 企 业 
关键 应 用 服务 器 和 其 它 关 键 任务 服务 器 等 从 而 共同 完成 工作 任务 。 负 载 均 衡 建立 在 现 有 
网 络 结构 之 上 ， 它 提供 了 一 种 廉价 有 效 透明 的 方法 扩展 网 络 设备 和 服务 器 的 带宽 、 增 加 否 
吐 量 、 加 强 网 络 数据 处 理 能 力 、 提 高 网 络 的 灵活 性 和 可 用 性 。 
常见 的 负载 均衡 技术 有 如 下 内 种 : 
o DNS 负 载 均衡 : 最 旱 的 负载 均衡 技术 是 通过 DNS 来 实现 的 ， 在 DNS 中 为 多 个 地 址 
配置 同一 个 名 字 ， 因 而 查询 这 个 名 字 的 客户 机 将 得 到 其 中 一 个 地 址 ， 从 而 使 得 不 
同 的 客户 访问 不 同 的 服务 器 ， 达 到 负载 均衡 的 目的 。 
o 代理 服务 器 负载 均衡 : 使 用 代理 服务 器 ， 可 以 将 请 求 转发 给 内 部 的 服务 器 ， 使 用 
这 种 加 速 模式 显然 可 以 提升 静态 网 页 的 访问 速度 。 然 而 ， 也 可 以 考虑 这 样 一 种 技 
术 , ,使 用 代理 服务 器 将 请 求 均匀 转发 给 多 合 服务 器 ， 从 而 达到 负载 均衡 的 目的 。 
0 地址 转换 网 关 负 载 艾 衡 : 支持 负载 均衡 的 地 址 转换 网 天 ， 可 以 将 一 个 外 部 上 P 地 址 
映射 为 多 个 内 部 iP 地址 ， 对 每 次 1CP 连 接 请 求 动态 使 用 其 中 一 个 内 部 地 址 ， 达 到 
负载 均衡 的 目的 。 
9、 协 议 内 部 支持 负载 均衡 : 除了 以 上 三 种 负载 均衡 方式 之 外 ， 有 的 协议 内 部 支持 与 
负载 均衡 相关 的 功能 ， 例 如 HTIP 协 议 中 的 重 定向 能 力 等 ，HTTP 运 行 于 TCP 和 连接 的 


最 高 层 。 
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镶 能 负载 均 街 


DP 负载 均衡 实现 过 程 : 
1. 访问 系统 一 级 /二 级 域名 ,如 : fx.tx.com 


2. Oceanstor 9000 对 域名 进行 解析 ， 根 据 负 载 策略 
， 返 回 IP 地 址 


3. 业务 请 求 


‘| node node node ;node node node | 


| Zone 1: 基于 CPU 使 用 情况 : Zone 2: 基于 网 络 连 接 数 
二 级 域名 : fx.tx.com : 二 级 域名 : td.tx.com 


1 
| 
1 
“1 
+ ' 
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。 负载 均衡 特 据 : 
0 对 外 提供 单一 域名 访问 方式 
0 可 划分 分 区 ， 对 不 同 分 区 设置 寺 级 域名 ， 以 及 不 同 的 负载 策略 
0 负载 均衡 策略 可 以 基于 : CPUS 内 存 、 市 宽 、 网 络 连 接 数 、 太 扣 能 力 值 


Oceanstor 9000 的 负载 均衡 服务 目前 支持 如 下 的 负载 均衡 策略 ， 可 以 供用 户 按 照 实 际 
的 环境 进行 配置 。 


。 轮 询 方式 


按 顺 序 依次 选择 节点 处 理 客户 端 连接 请 求 。 如 图 所 示 ， 以 3 节点 环境 为 例 。Tn 代 表 DNS 
请 来 的 时 间 点 ， 那 么 轮 询 方式 的 负载 均衡 服务 在 T1 时 刻 选 择 N1 市 点 处 理 业 务 ，T2 时 刻 则 选 
择 N2 市 点 处 理 业 务 ， 开 时 刻 选择 Nn3 市 后 处 理 业务 。 

。 CPU 使 用 和 梁 


选择 CPU 使 用 率 最 低 的 节点 处 理 客户 端 连 接 请 求 。 如 图 所 示 ， 以 3 节点 环境 为 例 。Tn 代 
表 DNS 请 求 的 时 间 点 ， 那 么 按 CPU 使 用 率 的 负载 均衡 服务 在 T1 时 刻 选择 n1 节 点 处 理 业 务 ， 
T2 时 刻 则 选择 n2 节 点 处 理 业务 ，T3 时 刻 选择 n3 节 点 处 理 业务 。 

“节点 连接 数 


选择 NAS 服 务 连接 数量 最 低 的 节点 处 理 客户 咒 连接 请 求 。 如 图 所 示 ， 以 3 太后 环境 为 例 
。Tn 代 表 DNs 请 求 的 时 间 点 ， 那 么 按 刀 点 连接 数 的 负载 均衡 服务 在 TI 时 刻 选 择 n1 世 点 处 理 
业务 ，T2 时 刻 则 选择 n2 世 点 处 理 业 务 ，T3 时 刻 选择 n1 万 点 处 理 业 务 。 


0D 29 0 


镶 能 负载 均 街 


DP 负载 均衡 实现 过 程 : 
1. 访问 系统 一 级 /二 级 域名 ,如 : fx.tx.com 


2. Oceanstor 9000 对 域名 进行 解析 ， 根 据 负载 策 
略 ， 返 回 IP 地 址 


3. 业务 请 求 


‘| node node node ;node node node | 


| Zone 1: 基于 CPU 使 用 情况 : Zone 2: 基于 网 络 连 接 数 
二 级 域名 : fx.tx.com : 二 级 域名 : td.tx.com 
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。 万 凡 否 吐 量 


选择 网 络 吞 吐 量 最 低 的 闻 点 处 理 客户 呈 连接 请 求 。 如 图 所 示 ， 以 3 点 环境 为 例 。Tn 代 
表 DN3 请 求 的 时 间 点 ， 那 么 按 节 点 连接 数 的 负载 均衡 服务 在 TI 时 刻 选择 n2 节 点 处 理 业 务 ， 
T2 时 刻 则 选择 mn1 区 点 处 理 业务 ，T3 时 刻 仍 选择 n1 厄 点 处 理 业 务 。 


。 万 反 能 


负载 均衡 服务 根据 三 点 的 CPUY 市 宽 等 硬件 配置 计算 节点 能 力 值 ， 根 据 节 点 当前 的 运 
行 状态 值 计算 石 点 的 负载 状态 让 如 果 茶 太 扣 负载 过 重 则 目 动 减少 该 三 点 的 能 力 值 。 如 果 当 
天 负载 比较 轻 ， 区 点 能 力也 会 得 到 相应 的 增加 。 


Oceanstor ?000 有 最 大 规格 文 持 288 个 氮 ， 负 载 均衡 系统 人 允许 IT 管理 员 ， 对 
Oceanstor 9000 所 有 节点 进行 分 区 管理 。 可 以 按照 需要 对 节点 进行 分 类 ， 对 于 每 个 分 区 
负载 均衡 系统 支持 配置 独立 的 负载 策略 、 独 立 的 访问 域名 。 常 见 场景 ，IT 管 理 员 可 以 划分 
高 性 能 分 区 和 高 容量 分 区 ， 并 给 各 个 分 区 分 配 指定 能 力 的 节点 ， 配 置 独立 的 域名 。 客 户 按 
照 需要 使 用 不 一 样 的 域名 访问 不 一 样 的 分 区 。 如 下 图 所 示 ，4 个 节点 可 以 划分 为 2 个 分 区 ， 
其 中 一 个 为 高 性 能 分 区 配置 域名 为 highperformance.Oceanstor 9000.com; 另外 一 个 
高 容量 分 区 配置 域名 为 highcapactiy.OceansStor 9000.com。 客 户 可 以 按照 需要 使 用 不 
同 的 域名 访问 不 同 的 分 区 。 
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随 着 计算 机 技术 、 网 络 技术 及 人 类 生活 信息 能 的 发 展 ， 人 们 对 存储 系统 的 存储 容量 、 
存储 性 能 的 要 求 越 来 越 高 ， 存 储 系统 由 原来 的 计算 机 自 带 存储 器 发 展 到 后 来 的 存储 阵列 和 
网 络 存储 (NAS) 等 独立 存储 存储 系统 ， 直 到 当前 大 型 的 高 并 发 的 分 布 式 存储 技术 。 

随 着 高 清 超 高 清 视频 监控 、3D 电 影 电 视 的 出 现 和 发 展 ， 视 频 在 线 编辑 、 高 性 能 计算 等 
应 用 对 存储 系统 的 访问 性 能 提出 了 更 具 挑 战 性 要 求 。 

当前 在 SAN 或 NAS 存 储 系统 中 和 %、 每 个 存储 服务 器 上 的 缓存 空间 都 是 独立 的 ， 每 个 存储 服 
务 器 只 能 访问 缓存 在 本 节点 主 的 数据 ， 造 成 不 同 的 存储 服务 器 上 缓存 相同 的 数据 导致 内 存 
利用 率 低 ， 无 法 充分 发 挥 缓存 的 优势 等 问题 。 

WushanFS 中 的 GlobqhCache 使 所 有 存储 服务 器 上 的 内 存 空间 在 逻辑 组 成 一 个 整体 内 
存 资源 池 ， 缓 存在 任何 二 个 存储 服务 器 上 的 数据 ， 在 后 续 其 它 任何 存储 服务 器 接收 到 访问 
该 数据 请 求 时 都 可 以 在 全 局 缓存 中 命中 ， 同 时 所 有 用 户 数据 在 整个 集群 系统 中 只 缓存 一 份 
并 且 不 缓存 校 验 数据 ， 可 以 有 效 发 挥 缓存 对 系统 性 能 的 影响 提高 系统 整体 的 性 能 。 
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高 效 全 局 缓存 (二 ) 


利用 分 布 式 锁 ， 实 现 全 局 
缓存 
二 返回 锁 在 Node = 好 左 口 经 
QD 服务 器 向 Node © A 已 经 申请 同一 数据 块 在 缓存 只 缓存 
C 申 请 锁 一 份 
任意 节点 缓存 中 的 获 失 考 
能 被 其 他 节点 访问 时 命 


应 用 服务 器 
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@ 应 用 服务 器 向 节点 C 端 发 出 数据 读 请 求 时 ， 普 先 应 用 服务 器 向 巫山 文件 系统 申请 分 条 
资源 读 锁 

@ 巫山 文件 系统 会 检查 所 读数 据 的 缓存 是 否 在 全 局 缓存 中 以 及 缓存 在 哪个 节点 上 ， 如 图 
显示 该 文件 分 条 资源 在 NodeA 节 点 上 的 缓存 中 


(3) 直接 从 NodeA 市 点 上 的 全 局 缓存 中 获 数据 并 返回 (如 果 不 在 全 局 缓存 中 ， 则 直接 从 各 
个 节点 上 读 取 该 分 条 数据 的 所 和 有 条 市 数据 ， 然 后 构造 出 分 条 数据 后 再 读 取 ) 
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按 需 扩展 
应 用 服务 器 

-< 
五 ii D 
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Wushan 分 布 式 文件 系统 支持 节点 动态 扩展 而 且 节 点 扩展 中 业务 不 中 断 。Wushan 分 
布 式 文件 系统 支持 针对 不 同 的 应 用 需求 提供 未 同 的 硬件 节点 类 型 ， 主 要 有 支持 高 频 度 IO 访 


问 的 高 性 能 世 点 、 满 足 市 宽 型 应 用 的 高 市 视 贡 氮 和 文 持 海 量 需 求 的 大 容量 站 氮 。 


由 于 采用 了 去 中 心 化 的 技术 ，Wushan 分 布 陈 文件 系统 不 存在 性 能 瓶颈 ， 随 着 节点 数 的 
增加 ， 存 储 容量 和 计算 能 力 线性 增加 , 最终 给 用 户 提供 呈 线 性 了 递增 的 带宽 、 并 发 数 。 

Wushan 分 布 式 文件 系统 提供 畦 全 局 一 致 的 缓存 ， 绥 存 容量 随 着 广 扣 增加 而 线性 增长 ， 
随 厦 节 扣 数目 的 增加 ， 越 来 越 多 的 热点 数据 可 以 被 缓存 命中 ， 大 大 减少 硬盘 随机 I/O 〇 ， 提 
高 整 系统 性 。 
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InfiniBand 技 术 


e |InfiniBand 
o InfiniBand 技 术 不 是 用 于 一 般 网 络 连 接 的 ， 它 的 主要 设计 目的 针对 服务 器 端的 连 
接 问 题 。 
o InfiniBgnd 技 术 被 应 用 于 服务 器 与 服务 器 (比如 复制 、 分 布 式 工作 等 ) 、 服 务 器 
和 存储 设备 (比如 SAN 和 直接 存储 附件 ) 以 及 服务 器 和 网 络 之 间 (比如 LANK 


WANs 和 the Internet) 的 通信 。 
。 |nfiniBand 的 用 途 
o 针对 服务 器 端的 连接 ， 提 供 高 速 、 低 时 延 、RDMA 方 式 的 访问 
。 |nfiniBand 的 特点 
高 市 宽 
低 时 延 
系统 扩展 性 好 
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Infinibandgd 协 议 的 主要 特点 是 高 带宽 .( 现 有 产品 的 带宽 4xDDR 20Gbps,12x DDR 
60Gbps，4xSDR 10Gbps, 12xSDR 30Cbps、 预 计 两 年 后 问世 的 QDR 扩 术 将 会 达到 
4xXQDR 40Gbps,12x QDR 120CbpSs 、 人 和 低 时 延 “交换机 延 时 140ns、 应 用 程序 延 时 3Hs 

一 年 后 的 新 的 网 卡 技 术 将 使 应 用 程序 延 时 降低 到 1hs 水 平 ) 、 系 统 扩展 性 好 〈 可 轻松 实 

现 完全 无 拥塞 的 数 万 端 设备 的 Infinil5eng 网 络 ) 。 
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InfiniBand 体 系 架 构 


。 InfiniBand 标 准 定 义 了 一 套用 于 系统 通信 的 多 种 设备 ， 包 括 信道 适配器 、 
交换 机 和 路 由 器 。 


主 存 控制 器 


< 
OO 
E 
OO 
OO 
一 
CQ) 
> 
(= 
-一 
J 
“0 
©O 
ee 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 24 CD HUAWEI 





信道 适配器 用 于 同 其 它 设备 的 连接 ， 包 括 主 机 信道 适配器 (HCA) 和 目标 信道 适配器 
(TCA) 


交换 机 是 InfiniBand 结 构 中 的 基本 组 件 
点 到 点 的 交换 结构 : 解决 了 共享 总 线 、 容 错 性 和 可 扩展 性 问题 ;具有 物理 层 低 功 耗 特 点 


和 箱 外 融 宽 连接 能 力 
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InfiniBand 的 帧 结构 


8B 40B 12B var 0..4096B 


ee ee ee 


4B 2B 
GRH BTH Ee Payload ICRC |VCRC 


InfiniBand Data Packet 


Destination QP 


SGIDI127:96 tonded hes 
SGID[95:64] a gra 
SGID[63:32] ee 
SGID[31:0] 

DGID[127:96] 
DGID[95:64] 
DGID[63:32] 
DGID[31:0] 
GRH (Optional) 
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InfiniBand 的 特点 


。 局 速度 
o Infinipand 第 一 代 DDR 技 术 ， 所 支持 的 吞吐 量 为 5、20 或 60Gbps， 延 
迟 低 于 1.3us。 第 二 代 QDR 技 术 ， 带 宽 最 高 可 达 120Glbps， 延 迟 低 和 寺 


100ns 
X 


。 远程 直接 内 存 存 取 功 能 
0 该 功能 对 于 集群 来 说 很 适合 ， 因 为 它 可 以 通过 一 个 虚拟 的 寻 址 为 案 ， 让 
服务 器 知道 和 使 用 其 他 服务 器 的 部 分 内 存 ， 无 需 涉 及 操作 系统 的 内 核 。 
。 传输 邮 载 
o 远程 直接 内 存 存 取 能 够 帮助 传输 由 载 ， 后 者 把 数据 包 路 由 从 OS 转 到 心 
片 级 ,节省 了 处 理 器 的 处 理 负 担 
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InfiniBand 的 协议 栈 


Subnet 
Application IP Based | | Sockets | | various Clustered | | Accessto Administrator 
App Based MPIs DB Access Fle 
| = 
Datagram 
Subnet Manager 
re a 


OpenFaHricsUserLevel verbsgcMAlAl | | | 
1 


IPolB IP overAnfiniBand 


SDP SocketS\Direct 
Protocol 


SRP SCSIRDMA 
Protoeollnitiaton) 


iSER iSCSDRDMA 
Connection Manager Protocol (Initiator) 
Abstraction (CMA) RDS Reliable Datagram 
Service 
Manager we 
Manager irtua 


UDAPL | User Direct Access 
OpenFabrics Kernel Level Verbs / API Programming Lib 
- HCA Host Channel 
Adapter 


Provider bp RNIC | RDMA NIC 


二 
on |" 


Protocol 


Mid-Layer 


Kernel bypass 


Kernel bypass 


iWARP 
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10GE 以 太 网 


。 定义 
o 10GE 以 太 网 (10 Gigabit Ethernet， 缩 写 为 10GE，10GbE，10 
GigE 或 10GE) ， 即 万 兆 以 太 网 。 
o 一 种 以 太 网 的 传输 标准 ，2002 年 通过 ， 成 为 IEEE Std 802.3ae-2602。 
已 规范 了 以 10 Gbit/ys 的 速度 来 传输 的 以 太 网 ， 它 的 速度 是 GE 的 证 售 。 
。 特 后 : 
o 10 Gigqabit 以 太 网 ， 以 全 双 工 方式 连接 到 网 络 交 换 器 各 尼 不 文 持 半 双 工 
模式 与 CSMA/CD。 
o 10GE 提 供 了 高 带宽 低 时 延 的 访问 ， 适 合 比 较 媒 资 类 高 算 类 、OLAP 


A 


so。 
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10GE/FCOE/TOE 对 比 : 

0 存储 阵列 主要 采用 3 种 板 卡 是 10Gbiys 速 紊 传输 ， 分 别 是 10GE、FCOE、TOE， 其 中 
又 分 力主 机 侧 和 阵列 侧 ， 主 机 侧 为 HBA 卡 ， 阵 列 侧 是 相应 的 扣 卡 ， 在 此 简单 说 明 下 
各 个 板 卡 区 别 及 使 用 。 

o 10GE: 通过 光纤 信号 进行 传输 4 基于 TCP/IP 协 议 ， 上 层 是 iSCSI| 协 议 ， 主 机 侧 和 阵 
列 侧 都 有 10GE 接 口 卡 ， 为 双 端 口 。 

0 ”FCOE: 通过 FC 光纤 进行 传输 ， 但 本 质 上 使 用 的 是 以 太 网 物理 传输 协议 传输 FC 数据 
。FCOE 相 比 于 10CE 米 说 站 省 了 线 缆 、 交 换 机 ， 方 便 管理 。 主 机 侧 和 阵列 侧 都 有 
FCOE 接 口 卡 ,《 主 视 侧 一 般 2 端 口 / 板 ， 阵 列 侧 4 端口 / 板 。 


o TOE: TOE 相 比 于 10CE， 将 TCP/AP 协 议 处 理 放 在 了 板 卡 上 。 相 比 于 FCOE， 可 以 选 
择 走 FC， 也 可 以 选择 走 S$Csl。 阵 列 侧 有 TOE 卡 ，4 端 口 / 板 ， 主 机 侧 无 TOE 卡 。 


0 在 主机 侧 和 阵列 侧 连 接 的 时 候 ， 可 以 选择 不 同类 型 的 接口 卡 (FC/iSCSI/FCoE 等 ) 
， 但 是 主机 侧 和 存储 侧 需 要 保持 通信 协议 一 致 。 
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大 数据 分 析 技 术 
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数据 库 拉 术 的 演变 


。 随 肴 数据 量 的 飞速 增长 ， 特 别 是 非 结构 化 数据 ， 传 统 天 系 型 
效 据 库 的 可 扩展 性 出 现 瓶 颈 ， 因 此 出 现 各 种 场景 优化 的 数据 
存放 方式 
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NoSQL 的 出 现 破 除了 关系 型 数据 库 一 家 独 大 的 局 面 ， 代 表 为 Caqssandrq、 Riak、 
MongoDB、CouchDB、Hlbase 等 


MoreSQLNew9SQL 出 现 ， 展 现 出 比 NoSQL 更 好 的 适应 性 
随 着 大 内 存 和 非 易 失 型 内 存 的 出 现 ， ,内存 计算 越 来 越 受到 重视 
多 种 架构 支持 多 种 应 用 ，OIdSQLS NOSQL 和 NewSsSQL 互 为 补充 
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NoSQL 与 NewSQL 


非 关 系 型 数据 库 关系 型 数据 库 


分 析 型 Brisk Piccolo Aster Data ParAccel SAP Sybace IQ 
MapReduce IBM Netezza IBM InfoSphere HP Vertica 
Dryad Hadoop GreenPlum Teradata EMC Info Bright 


操作 型 progress \ || Ormde De2 SAServer 


Versant InterSystems McLogic MarkLogic 





高 容量 、 高 分 布 式 、 机 复杂 性 应 用 各 的 过 全 伟 娄 据 库 不断 扩展 自己 的 容量 
限 ， 这 些 驱动 传统 关系 型 数据 库 采 用 IN 的 数据 管理 技术 的 6 个 关键 因素 可 以 概括 为 
“9PRAIN ”， 即 : NA 


o 可 扩展 性 (Scalability) 而 入 价格 

o 高 性 能 (Performance) 一 MySQL 的 性 能 瓶颈 

0 ， 弱 一 致 性 (Relaxed corisistency,) 一 一 CAP 理 论 
o 敏捷 性 (Agilty 信 车 久 多 样 性 

o 复杂 性 (Intficacy) 海量 数据 

0 /必然 人 {Necassiy) 一 一 开源 
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数据 库 CAP 原 理 
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0 分布 式 数据 系统 的 CAP 原 理 的 三 要 素 : 一 致 性 {Consistency)、 可 用 性 
(Avqilability) 、 分 区 容忍 性 (Perfifien tolerance)。 

o CAP 原 理 : 在 分 布 式 系统 中 ， 这 三 个 要 素 最 多 只 能 同时 实现 两 点 ， 不 可 能 三 者 兼 
顾 。 对 于 分 布 式 数据 系统 点 分 区 容忍 性 是 基本 要 求 。 对 于 大 多 数 Web 应 用 的 数据 
库 ， 通 单 牺 牲 一 致 性 而 换取 高 可 用 性 。 
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NoSQL 结 构 


接口 层 


Thrift MapReduce | GET/PUT | 语言 特定 API | SQL 子 集 
| a | | .| | 


数据 远 辑 模型 技 


Key-Value column Family Document 


数据 分 布 层 


CAP 支 持 支持 多 数据 中 心 


数据 持久 层 


| ”基于 内 存 ”| | ”基于 硬盘 ”| | 基于 内 存 和 硬盘 | ”定制 可 插 拔 | 
ed 
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e。 接口 : REST (HBase ，CouchDB ，Riak 等 入 MapReduce (HBase ，CouchDB ， 
MongoDB ，Hyperapble 等 }) ，Cef/Puf (Yoldemort，Scoalaris 等 )，Thrift (HBase ， 
Hypertable，Cassandra 等 }) ， 语 言 特 定 的 APIIMongoDB|) 。 


。 逻辑 数据 模型 分 为 : 面向 键 值 对 的 (Voldqemor ，Dynomite 等 }， 面 加 Column 
Family 的 (BigTable，HBase,， 有 ypertable 等 )， 面 向 文档 的 (Couch DB, MongoDB 
等 )}， 面 癌 图 的 (Neo4，Infegrid 等 ) 

。 数据 分 布 模型 : 致 性 和 可 用 性 (HBase，Hypertable， MongoDB 等 )， 可 用 性 和 可 分 
区 性 (Cassandra 等 )。 


。 数据 持久 性 (数据 保存 )、: 基于 内 存 的 (如 Redis，3calaris， Terrastfore)， 基 于 磁盘 的 
(如 MongoDB，RiSk 等 ), 或 内 存 及 磁盘 二 者 的 结合 (如 HBase ，Hypertable ， 
Caqssandra)é。 后 二 种 组 合 方案 通常 最 佳 的 选择 。 既 能 通过 内 存 数据 存储 支持 高 性 能 ， 
又 能 在 写 入 足够 多 的 数据 后 存储 到 磁盘 来 保证 持 数据 存储 的 续 性 。 
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NoSQL 与 天 系 型 的 数据 库 对 比 


。 优势 方面 : 
易 扩 展 : 灵活 的 数据 模型 
高 可 用 : 快速 读 写 ， 大 数据 量 ， 高 性 能 
低廉 的 成 本 
e 不 足 : 
o 不 提供 对 SQL 的 支持 
o 文 持 的 特性 不 够 丰富 
o NoSQL 未 形成 一 定 标准 
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。 在 优势 方面 ， 主 要 体现 在 下 面 几 点 : 

1]、 易 扩展 : NOSQL 数 据 库 种 类 繁 锣 ， 但 是 一 个 共同 的 特点 都 是 去 掉 关 系数 据 库 的 
天 系 型 特性 。 数 据 之 间 无 关系 这样 束 非常 容易 扩展 。 也 无 形 之 间 ， 在 架构 的 层 
面 上 带 来 了 可 扩展 的 能 力 。 甚 至 有 多 种 NoSQL 之 间 的 整合 。 

2、 灵 活 的 数据 模型 : NoSQB 无 需 事先 为 要 存储 的 数据 建立 字段 ， 随 时 可 以 存储 自 
定义 的 数据 格式 。 而 在 关系 数据 库 里 ， 增 删 字 段 是 一 件 非 常 麻烦 的 事情 。 如 果 是 
非常 大 数据 量 的 表 二 增加 字段 简直 就 是 一 个 于 梦 。 

3、 高 可 用 : ”NoSQL 在 处 太 影响 性 能 的 情况 ， 就 可 以 方便 的 实现 高 可 用 的 架构 。 比 
如 Cassandrq, HBase 模 型 ， 通 过 复制 模型 也 能 实现 高 可 用 。 

4、 快 速 读 写 ， 大 数据 量 ， 高 性 能 : NoSQL 数 据 库 都 具有 非常 高 的 读 写 性 能 ， 尤 其 
在 大 数据 量 内， 同样 表现 优秀 。 这 得 益 于 它 的 无 关系 性 ， 数 据 库 的 结构 简单 。 比 
如 Redis， 由 于 其 逻辑 简单 ， 而 且 纯 内 存 操 作 ， 使 得 其 性 能 非常 出 色 ， 单 节点 每 
秒 可 以 处 理 超过 10 万 次 读 写 操作 

5、 人 低廉 的 成 本 : 这 是 大 多 数 分 布 式 数据 库 共 有 的 特点 ， 因 为 主要 都 是 开源 软件 ， 没 
有 昂贵 的 License 成 本 。 
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NoSQL 与 关系 型 的 数据 库 对 比 


。 优势 方面 : 
Do 易 扩 展 : 灵活 的 数据 模型 
o 高 可 用 : 快速 读 写 ， 大 数据 量 ， 高 性 能 


o 低廉 的 成 本 
e 不 足 : 
o 不 提供 对 SQL 的 支持 
o 支持 的 特性 不 够 丰富 
o NoSQL 未 形成 一 定 标 准 
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。 NoSQL 数 据 库 还 存在 着 很 多 的 不 足 ， 常 见 主要 有 下 面 这 几 个 : 
1、 不 提供 对 SQL 的 支持 : 如 果 不 支持 SQL 这 样 的 工业 标准 ， 将 会 对 用 户 产生 一 定 的 
学 习 和 应 用 迁移 成 本 ; 


2、 文 持 的 特性 不 够 丰富 : 
库 都 不 支持 事务 ， 也 不 像 MSSQL Server 和 Orqcle 那 样 能 提供 各 种 附加 功能 ， 
如 BI 和 报表 等 ; 
3、NoSQL 未 形成 一 定 标 准 : 各 种 产品 层出不穷 ， 内 部 混乱 ， 现 有 产品 的 不 够 成 熟 
各 种 项 目 还 需 时 间 来 检验 ， 和 关系 型 数据 库 几 十 年 的 完善 不 可 同日 而 语 


现 有 产品 所 提供 的 功能 都 比较 有 限 ， 大 多 数 NooQL 数 据 
比 
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NoSQL 分 类 \ 


顾名思义 ， 是 按 列 存储 数据 的 。 最 大 的 特点 是 方便 存储 结构 化 
和 半 结 构 化 数据 ， 方 便 做 数据 压缩 ， 对 针对 某 一 列 或 者 某 几 列 
的 查询 有 非常 大 的 IO 优势 。 


文档 存储 一 般 用 类 位 json 的 格式 存储 ， 存 储 的 内 容 是 文智 型 的 。 
文档 存储 | MO 99 /95 | 这 样 也 就 有 有 机 会 对 某 些 字段 建立 索引 ， 实 现 关系 数据 库 韵 革 


些 功能 。 


Hbase/Cassandr 


列 存储 qd/Hypertable 


Tokyo Cabinet 

ee Tyrant/Berkeley 可 以 通过 key 快 速 查询 到 其 vqlue。 一 般 来 说 ， 存 储 不 管 vdlue 
DB/Memcache | 的 格式 ， 照 单 全 收 。 (Redis 包 含 了 其 他 功能 
DB/Redis 


Neo4J/FlockDB/I | 图 形 关系 的 最 佳 存储 。 使 用 传统 关系 数据 库 来 解决 的 话 性 能 低 
nfoGrid 下 ， 而 且 设 计 使 用 不 方便 。 
三 通过 类 似 面向 对 象 语言 的 话 法拉 代 才 尖 记 ? 通 过 对 旬 的 方式 
Berkeley DB 高 效 的 存储 XML 数 据 ， 并 支持 XML 的 内 部 查询 语法 ， 比 如 
SR 
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NoSQL 应 用 举例 


。 Google 的 BigTable 
o BigTable 提 出 了 一 种 很 有 趣 的 数据 模型 ， 它 将 各 列 数据 进行 排序 
存储 。 数 据 值 按 范 围 分 布 在 多 人 机 器 ， 数 据 更 新 操作 有 严格 的 一 
致 性 保证 。 以 


。 Amazon 的 Dynamo 
o Dynamo 使 用 的 是 另外 一 种 分 布 式 模型 。Dynamo 的 模型 更 简单 ， 
已 将 数据 按 key 进 行 hash 存 储 。 其 数据 分 片 模 型 有 此 较 强 的 容 灾 
性 ， 因 此 它 实 现 的 是 相对 松散 的 弱 一 致 性 : 最 终 一 致 性 。 
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NewSQL 


。 NewSQL 是 对 各 种 新 的 可 扩展 /高 性 能 数据 库 的 简称 。 
。 NewSQL 数 据 库 具 有 NoSQL 对 海量 数据 的 存储 管理 能 
o NewsQL 数 据 库 保持 了 传统 数据 库 支持 ACID 和 SQL 和 寺 特 性 。 
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MPP DB- 绪 构 化 数据 分 析 


。 MPP DB 天 键 技术 : 
”扩展 方式 : 增加 服务 器 节点 


分 布 式 并 行 计算 、 存 储 。 在 线 系统 扩容 。 理论 上 扩展 无 限制 ， 上 于 节点 互 连 


访问 性 能 线性 扩展 加 载 能 力 线性 扩展 。 随 着 节点 数量 增加 ， 性 能 线性 提升 

高 级 负载 管理 数据 分 区 均衡 存储 

透明 压缩 支持 开放 硬件 平台 Scale Out 模式 Wm ra -4 
OC 


MPP DB Share-nothing 架 构 
例如 : HUAWEI OceanStor 9000, EMC Greenplum , DB2 DPF... 
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如 何 快速 从 海量 数据 中 分 析出 价值 数据 ， 文 撑 业 务 决策 ， 是 大 数据 时 代 面 临 的 一 大 挑 


战 。 传 统 的 天 系数 据 库 部 署 难 以 处 理 TB 级 数据 s 不 能 很 好 的 文 持 高 级 别 的 数据 分 析 。 大 规 
模 并 行 处 理 MPP 数 据 库 采 取 分 而 治世 思想 ， 让 企业 从 容 面 对 大 数据 3VY ( Volume 、 
Voalue、 Velocity ) 挑战 。 


80 0 


数据 安全 技术 
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存储 系统 的 数据 安全 性 


> 
< 


可 用 性 
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存储 系统 的 数据 安全 性 通 音 从 数据 完整 性 、 传 输 和 访问 的 保密 性 、 数 据 有 效 谈 与 的 可 
用 性 方面 考虑 ， 有 些 技术 或 方式 是 存储 特有 ， 有 些 是 通过 成 熟 的 安全 拉 术 或 方案 实现 


网 络 安全 通常 通过 防火 墙 等 安全 力 案 或 技术 保障 存储 对 外 网 络 不 受 浸 入。 

应 用 数据 的 安全 性 通 弟 通 过 防 病毒 软件 保障 。 

在 存储 数据 传输 过 程 中 , 数据 传输 协议 如 SCsl、TCP/IP。 

存储 作为 一 种 数据 管理 和 存储 的 系统 ， 也 采取 系统 加 固 的 一 些 拉 术 和 方法 ， 如 OS 层面 
的 用 户 管理 、 补 丁 管理 等 。 

存储 系统 和 目 和 喘 的 功能 有 较 高 的 数据 安全 保障 技术 ， 如 RAID 见 余 机 制 提高 数据 存储 的 可 
靠 性 ; 远程 复制 和 备份 等 特性 提供 数据 保护 综合 方案 。 


对 象 存储 加 密 


S 
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。 应 用 级 OV 


NECP/P RT 





。 对 象 级 
o 在 接 入 节点 处 ， 通 过 MD5 算 法 进行 对 象 级 的 数据 校 验 。 
。 分 片 级 
9 每 个 分 片 都 带 有 通过 HMAC SHA256 算 法 产生 的 校 验 字段 ， 智 能 硬盘 在 接收 到 分 
者 会 检查 分 片 的 正确 性 
。 物理 级 
0 每 同 其 校 验 ， 在 写 入 磁盘 后 还 会 增加 对 应 磁道 的 校 验 。 


了 
< 
OO 


DD 830 


84 0 


NA 基础 技术 
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什么 是 NAS? 
NAS 特 征 : 

。 拥有 可 访问 的 磁盘 阵列 
。 拥有 文件 系统 


。 对 外 提供 访问 文件 系统 的 接口 
Network Attached Storage 


以 太 网 接口 以 太 网 接口 


文件 系统 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights resen\ ed WD HUAWEI 





NAS 是 Network Attached storage 的 简称 关中 文 称 为 网 络 附加 存储 。 按 字面 简单 说 是 
连接 在 网 络 上 ， 有 具备 存储 功能 的 设备 ， 因 此 也 称 为 “网 络 存储 器 ”或 者 “网 络 磁 盘 阵 列 ” 
。 在 NAS 存 储 结构 中 ， 存 储 系统 不 再 通过 [MO 总 线 附属 于 某 个 服务 器 或 客户 机 ， 而 直接 通 
过 网 络 接口 与 网 络 直接 相连 ， 由 用 户 通过 网 络 访 问 。 NAS 实 际 上 是 一 个 带 有 瘦 服 务 器 (有 
专用 OS 的 服务 器 ) 的 存储 设备 ， 基 作用 类 似 于 一 个 专用 的 文件 服务 器 。 这 种 专用 存储 服 
务 器 去 掉 了 通用 服务 器 原 有 的 不 适用 的 大 多 数 计算 功能 ， 而 仅仅 提供 文件 系统 功能 。 与 传 
统 以 服务 器 为 中 心 的 存储 系统 相 比 《数据 不 再 通过 服务 器 内 存 转发 ， 直 接 在 客户 机 和 存储 
设备 间 传 送 ， 服 务 器 仪 起 控制 管理 的 作用 。 


0D 85 0 


NAS 结 构 


、 通过 Web 进 行 管 
网 络 文件 共享 可 通过 Web 进 行 管理 


(NFS.GIFS) 
GUI 界面 
设备 监视 与 控制 | 
冤 4 设备 配置 : 网 络 、 
文件 系统 郑 、 文 件 存 取 权 了 


操作 系统 
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NAS 系 统 软 件 设 计 的 基本 要 求 是 较 高 的 稳定 性 和 I/ 上 〇 否 吐 率 ， 并 能 满足 数据 共享 、 数 据 
备份 、 安 全 配置 、 设 备 管理 等 要 求 。 该 结构 分 为 五 个 模块 : 操作 系统 、 存 储 管理 器 、 文 件 
系统 、 网 络 文件 共享 和 GUI 管 理 模 块 。 


鉴于 LinUx、FreeBSD 等 免费 的 开放 产 码 操作 系统 具有 稳定 、 可 靠 、 高 效 的 优秀 特性 ， 
现在 大 部 分 NAS 设 备 都 是 基于 此 类 操作 系统 开发 的 。 


存储 管理 器 的 主要 功能 是 磁盘 和 分 区 的 管理 ， 主 要 包括 磁盘 的 监测 与 异常 处 理 和 逻辑 卷 
的 配置 管理 ， 一 般 应 文 持 磁 盘 的 热 插 拔 、 热 蔡 换 等 功能 和 RAIDO、RAID1、RAID> 类 型 的 
逻辑 卷 。 存 储 管理 器 实现 简化 的 、 集 中 的 存储 管理 功能 ， 保 证 数据 的 完整 性 ， 并 增强 数据 
的 可 用 性 。 


文件 系统 提供 持久 性 存储 和 管理 数据 的 手段 ， 它 必须 是 32 位 或 以 上 并 能 文 持 多 用 户 ， 
应 具备 日 志文 件 系统 功能 以 使 系统 在 衣 溃 或 抒 电 重启 后 能 迅速 恢复 文件 系统 的 一 般 性 和 完 
整 性 ， 进 一 步 提 供 NAs 的 可 用 性 。 此 外 ， 文 件 系统 还 应 具有 快照 功能 。 快 照 不 仅 能 恢复 被 
用 户 错 误 修改 或 删除 的 文件 ， 而 且 能 实现 备份 窗口 为 零 的 文件 系统 活 备 份 。 

网 络 文件 共享 一 般 支持 以 下 一 些 文件 传输 和 共享 协议 ， 如 FTP 和 HTTP 协 议 、Unix 系 统 的 
NFS、Windows 系 统 的 CIFS、Novell 系 统 的 NCP (Novell core protocol) 、Apple 系 统 
的 AFP (appletalk file protocol) 等 ， 因 此 NAS 设 备 具有 有 较 好 的 协议 独立 性 。 


GUI 管理 提供 给 系统 管理 员 一 个 友好 的 界面 ， 使 之 仅 通过 Web 浏 览 器 操作 残 能 远程 监视 
和 管理 NA 设备 的 系统 参数 ， 如 : 网 络 配置 、 用 户 与 组 管理 、 卷 以 及 文件 共 主 权限 等 。 


86 中 


网 络 模块 


CIFS 或 NFS 协 议 CIR 或 NRPS 协议 


CIF 或 NFS 协 议 


NAS 设 备 
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NAS 设 备 中 所 包含 的 标准 文件 系统 可 以 对 公用 护 联 网 文件 系统 (CIFS) 或 是 网 络 文件 
系统 (NFS) 提供 支持 ， 也 有 可 能 同时 支持 二 者 。 在 许多 情况 下 ， 它 都 使 用 标准 的 网 络 文 
件 系统 来 作为 NAS 专 用 文件 系统 的 接 轧 。 大 多 数 NAS 设 备 需要 用 这 种 万 式 来 管理 其 自 号 的 
存储 资产 。 


NFS 〈 网 络 文件 系统 ) 是 Unix 系 统 间 实现 磁盘 文件 共享 的 一 种 方法 ， 文 持 应 用 程序 在 客 
尸 端 通过 网 络 存 取 位 于 服务 器 磁盘 中 数据 的 一 种 文件 系统 协议 。 其 实 它 包括 许多 种 协议 ， 
最 简单 的 网 络 文件 系统 是 网 络 逻 辑 傍 盘 ， 即 客户 端的 文件 系统 通过 网 络 操作 位 于 远 端 的 膛 
辑 磁盘 。 现 一 般 在 Unix 主 机 之 间 采 用 SunN 开 发 的 NFS (3un) ， 它 能 够 在 所 有 Unix 系 统 之 间 
实现 文件 数据 的 互 访 , /逐渐 成 为 主机 间 共 圣 资 源 的 一 个 标准 。 

CIFS 是 由 微软 开发 的 ， 用 于 连接 Windows 客 户 机 和 服务 器 。 经 过 Unix 服 务 器 厂商 的 重 
新 开发 后 ， 它 可 以 用 于 连接 Windows 客 户 机 和 Unix 服 务 器 ， 执 行文 件 共享 和 打印 等 任务 。 
已 最 早 的 由 来 是 NelBlI 〇 Cs ， 这 是 微软 开发 的 在 局 域 网 内 实现 基于 Windows 名 称 资产 共享 的 
API。 之 后 Y 产生 了 基于 NefBIOS 的 NefBEUI 协 议和 NBT(NetBIOS OVER TCP/IP) 协 议 。 
NBT 协 议 进 二 和 步 发 展 为 SMB (Server Message Block Potocol) 和 CIFS (Common 
Internet file System ， 通 用 互联 网 文件 系统 ) 协议 。 其 中 ，CIFS 用 于 Windows 系 统 ， 而 
SMB 广 泛 用 于 Unix 和 Linux， 两 者 可 以 互通 。SMB 协 议 还 被 称 作 LanManager 协 议 。CIFS 
支持 与 SMB 的 服务 器 通信 而 实现 共享 。 微 软 操作 系统 家 族 和 几乎 所 有 Unix 服 务 器 都 支持 
SMB 协 议 /SAMBA 软 件 包 。 


ClFS 和 NFS 的 对 比 。CIFS 面 向 网 络 连 接 的 共 至 协议 ， 对 网 络 传输 的 可 靠 性 要 来 高 ， 常 使 
用 TCP; NFS 是 独立 于 传输 的 ， 可 使 用 TCP 或 UDP。 


[ 


87 | 


CIFS 是 什么 


。 定义 
o CIFS (Common Internet File System)， 通用 Internet 文 件 系 统 ， 
一 个 新 提出 的 协议 ， 它 使 程序 可 以 访问 远程 Infernef 计 算 机 上 的 
文件 并 要 求 此 计算 机 的 服务 。 


。 CIF3 是 公共 的 或 开放 的 SMB 协 议 版 本 ， 包 含 主 要 模块 有 : 
o NBT 


o MB 


o _ Browsing 
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CIFy 使 用 客户 /服务 器 模式 ， 客 户 程序 请 求 远 企 服务 器 上 的 服务 器 程序 为 它 提 供 服务 ， 
服务 器 获得 请 求 并 返回 啊 应 。 


88 中 


NBT、 SMB、Browsing 


e。 NBT (NetBIOS over TCP/IP) 
TCP/IP 上 的 NetBIOS 

e。 SMB (The Server Messages Block Protocol) 
服务 器 消息 块 协议 

e。 Browsing (The Browse Service) 
浏览 服务 
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TCP/IP 上 面 的 NefBIOS 也 叫做 NefBT 或 者 NB 人 

在 OSI 的 7 层 参 考 模型 里 面 ，NetBIOS 是 一 个 会 话 层 (第 5 层 ) 编程 接口 。 在 DOS 和 它 的 
后 代 ， 应 用 层 通 过 填写 一 个 叫做 网 络 控 制 块 {NCB) 然 后 发 信号 的 方式 和 NetBIOS 沟 通 。 
NCB 是 用 来 在 应 用 之 间 通 过 底层 协议 栈 传 送 命令 和 消息 。 

NetBIOS 编程 接口 是 DOS 和 它 的 家 族 所 特有 的 。Unix 和 其 它 操 作 系 统 不 需要 实行 
NetBIOS 编 程 接口 ， 也 就 没有 程序 需要 使 用 它 。 


[DD 890 


NBT 


” NBT (NetBIOS over TCP/IP) TCP/IP 上 的 NetBIOS 


Mick Laidlaw 


TCRANP 网 络 


Hul Ringo Clements 
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NetBIOS 局 域 网 染 构 是 很 简单 的 。 没 有 路 由 器 5 没有 交换 机 一 一 只 是 一 堆 用 (虚拟 的 ) 
线 连接 在 一 起 的 节点 。 不 必 区 分 硬件 地 址 、 网 络 地 址 ， 甚 至 象 在 IP 里 面 那样 需要 区 分 端口 
号 。 取 而 代 之 的 是 ， 通 信和 节点 用 一 个 16 子 节 的 字符 串 ， 即 “NefiBIOs 名 字 ” 来 标识 。 


每 个 节点 保 留 一 个 它 已 经 注册 的 名 字 的 列表 ( 残 是 它 拥 有 的 名 字 ) 。 当 发 这 一 个 消息 的 
时 候 ， 第 一 步 加 是 发 送 一 个 | 广播 得 调 ， 叫 做 “名 字 碍 询 请 求 ”。 如 果 在 IP 局 域 网 有 一 个 
机 器 拥有 被 查询 的 名 字 ， 它 发 送 一 个 人 名字 查询 应 答 ” 的 管 复 来 应 答 。 


要 实现 NetBIOS 局 域 网 的 和 仿真 必须 支持 的 四 个 基本 服务 : 
o the Name Service 名 字 服 务 
o the Datagram Service 数据 报 服务 
o the SessiG6n Service 会 话 服务 


o the,NameService 名 字 服 务 


00 


MB 


。 SMB 是 用 于 文件 与 打印 机 共 圣 的 协议 
同时 也 叫 CIFS (Common Internet File System) 
基于 客户 端 /服务 器 模式 
并 不 等 同 于 >amba: 一 种 MB 协议 在 unix 系 统 上 的 开源 实现 
SMB 通常 运行 在 NetBIOS (naming + sessions + datagram) 协 议 之 上 


。 NetBIOS + SMB 适用 于 LAN 环 境 
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服务 器 消息 块 协议 (SMB) ， 一 种 客户 机 /服务 器 、 请 求 /响应 协议 。 通 过 SMB 协议 ， 
客户 端 应 用 程序 可 以 在 各 种 网 络 环境 下 读 、 写 服务 器 上 的 文件 ， 以 及 对 服务 器 程序 提出 服 
务 请 求 。 

服务 器 信息 块 (SMB) 协议 ， 用 于 在 计算 机 间 共 至 文件 、 打 印 机 、 串 口 等 。 SMB 协 议 可 
以 用 在 因特网 的 TCP/IP 协 议 之 上 ,。 也 可 以 用 在 其 它 网 络 协议 如 IPX 和 NetBEUI 之 上 。 

在 TCP/IP 环境 下 ， 客 户 机 通过 NetBIOS over TCP/IP (或 SPX/IPX 或 NetBEUI/TCP ) 
连接 服务 器 。 一 旦 连接 成 功 s 客 户 机 可 发 送 SMB 命令 到 服务 器 上 ， 从 而 客户 机 能 够 访问 
共享 目录 、 打 开 文 件 、 读 写 文 件 ， 以 及 一 切 在 文件 系统 上 能 做 的 所 有 事情 。 

目前 主流 的 Windews 操作 系统 已 包括 了 客户 机 和 服务 器 SMB 协议 支持 。 对 于 UNIX 系 
统 ， 可 使 用 一 种 称 为 SGambba 的 共享 软件 。 

SMB 定义 了 两 级 安全 保护 : 

0 共 军 级 保护 (Share Level Protection) 应 用 于 服务 器 共享 目录 级 。 每 个 共享 目 
录 都 需要 提供 一 个 访问 口令 。 只 有 口令 通过 ， 客 户 机 才能 访问 所 有 共享 文件 。 

o、 用 户 级 保护 (Usr Level Protection) 应 用 于 共享 目录 中 的 单独 文件 ， 基 于 用 户 访 
问 权 限 。 每 个 用 户 (客户 机 ) 必须 登录 服务 器 并 且 获 得 服务 器 的 认证 许可 。 一 旦 
认证 通过 ， 客 户 即 会 获得 一 个 UID ,在 以 后 客户 机 访问 服务 器 的 过 程 都 需要 使 用 该 
UID 。 
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Browsing 


。 Browsing (The Browse Service ) 浏览 器 服务 的 主要 功能 是 : 提供 客户 机 域 中 共享 
资源 的 计算 机 的 列表 ， 以 及 广域网 (WAN) 上 其 他 域名 和 工作 组 名 称 的 列表 。 此 列表 
提供 给 用 “网 上 邻居 ”或 NET VIEW 命令 查看 网 络 资源 的 客户 端 。 


ARNMDO2 -BK 
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Browsing (The Browse Service ) 浏览 服务 二 微软 定义 的 一 种 完成 网 络 资源 查找 和 定 


位 机 制 ， 目 的 是 为 了 帮助 用 户 找到 网 络 资源 。 


浏览 列表 (Browsing Lisf) : 当 通 过 网 上 邻居 窗口 打开 整个 网 络 时 ， 将 看 到 一 个 工作 组 
列表 ， 再 打开 茶 个 工作 组 ， 将 看 到 里 面 的 计算 机 列表 ， 束 是 我 们 所 这 的 Browsing Lisf。 在 


微软 网 络 中 ， 用 尸 可 以 在 浏览 列表 里 看 到 整个 网 络 上 所 有 的 计算 机 。 


浏览 列表 其 实 是 从 工作 组 中 的 荣 王 人 台 计 算 机 〈 一 般 叫 主 浏览 器 ) 中 获得 。 在 一 个 工作 
组 中 只 有 一 合计 算 机 充当 主 浏览 器 的 角色 ， 有 一 到 两 合计 算 机 充当 备份 浏览 器 的 角色 。 如 
果 不 指定 ， 主 浏览 器 、 备 份 浏览 器 身份 都 是 由 网 络 中 的 计算 机 随机 得 到 。 如 果 网 络 中 的 机 


器 都 是 Win98 系 统 ， 则 由 第 一 台 打 开 并 启用 文件 及 打印 共享 的 计算 机 充当 主 浏览 器 。 
主 浏 览 HA Oa 强 关 机 ， 就 要 选举 主 浏览 [入 Oa 人 
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NFS (Network File System ) 


。 定义 
o NFS (网 络 文件 系统 ) 是 Unix 系 统 间 实现 磁盘 文件 共享 的 一 种 方 
法 ， 支 持 应 用 程序 在 客户 端 通过 网 络 存 取 位 于 服务 器 磁盘 中 数据 
的 一 种 文件 系统 协议 。 
。 工作 原理 
o 使 用 客户 端 / 服 务 器 架构 ， 由 一 个 客户 端 程序 和 服务 器 程序 组 成 。 
。 主要 模块 
o RPC、 鉴 权 、 传 输 
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NFS (Network File System， 网 络 文件 系统 ) 是 当前 主流 异 构 平 台 共享 文件 系统 之 一 。 
主要 应 用 在 UNIX 环 境 下 。 最 早 是 由 SUN%8miSrosystem 开 发 ， 现 在 能 够 支持 在 不 同类 型 的 
系统 之 间 通 过 网 络 进 行文 件 共 享 ， 广 泛 应 用 在 FreeBSD、SCO、Solaris 等 等 异 构 操 作 系统 
平台 ， 允许 一 个 系统 在 网 络 上 与 它 人 共享 目录 和 文件 。 通 过 使 用 NFS， 用 户 和 程序 可 以 象 
访问 本 地 文件 一 样 访问 远 端 系统 上 的 文件 ， 使 得 每 个 计算 机 的 节点 能 够 像 使 用 本 地 资源 一 
样 方便 地 使 用 网 上 资源 。 换 言 之 。NFS 可 用 于 不 同类 型 计算 机 、 操 作 系统 、 网 络 架 构 和 传 
输 协 议 运 行 环境 中 的 网 络 文件 远程 访问 和 共享 。 

NFS 的 工作 原理 是 使 用 客户 端 / 服 务 器 架构 ， 由 一 个 客户 端 程序 和 服务 器 程序 组 成 。 服 
务 器 程序 向 其 它 计 算 机 提供 对 文件 系统 的 访问 ， 其 过 程 就 叫做 “输出 ”。NFS 客户 端 程序 
对 共享 文件 系统 进行 访问 时 ， 把 它们 从 NFS 服务 器 中 “输送 ”出 来 。 文 件 通常 以 “ 抉 ” 
为 单位 进行 传输 .其 尺寸 是 8K (虽然 它 可 能 会 将 操作 分 成 更 小 尺寸 的 分 片 }.NFS 传输 协议 用 
于 服务 器 和 客户 机 之 间 文 件 访 问 和 共享 的 通信 ， 从 而 使 客户 机 远程 地 访问 保存 在 存储 设备 
上 的 数据 。 
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NFS 消 和 因 流 A 


NFS Client 
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NFS 工 作 流 程 ， 当 NFS 客 户 端 发 送 请 求 访问 远 病 NFS 服务 器 上 的 文件 时 ， 内 核 会 通过 VFS 
层 ， 将 请 求 通 过 RPC 发 送 到 远 端 的 NFS 服 务 器 和 RPC 可 以 通过 TCP/UDP 来 进行 传输 ， 然 后 
NFS 服 务 器 在 2049 端 口 接 收 到 NFS 客 户 端 的 RPC 请 求 ， 并 将 其 转发 到 NFS 服 务 器 的 本 地 文 
件 系 统 。 

NFS 服 务 器 在 请 求 完 成 后 ， 会 将 结果 通过 RPC 发 送 回执 到 NFS 客 户 端 ， 其 中 有 两 点 需要 
注意 : 

o ”NFS 服务 器 发 这 回执 到 NFS 客 户 端 需要 一 定 的 时 间 ， 此 时 NFS 服 务 器 同时 仍然 能 咱 
应 其 他 的 NFS 客 户 端 请 求 ， 此 时 服务 器 上 存在 多 个 NFSD 的 进程 。 

o 在 NFy 客 户 端 也 存在 相同 的 情况 ，NFy 客 户 端 会 存在 多 个 biod 进 程 ， 用 于 发 送 NFy 
请 求 。 
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NFS 
Application dae 
PORT MAPPER 
NIS(Network Information System) 


XDR (eXternal Data Representation) 


RPC (Remote Procedure Call) 
mm 
Ethernet 
Physical 


OST Model NFS Protocol Layers 
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RPC (Remofe Procedure Call) 


口 


NFS 本 身 不 提供 信息 传输 的 协议 和 功能 ， 而 是 使 用 了 一 些 其 它 的 传输 协议 。 而 这 
些 传输 协议 用 到 这 个 RPC 功 能 的 。 可 以 说 NFS 本 身 就 是 使 用 RPC 的 一 个 程序 。 或 
者 说 NFS 也 是 一 个 RPC SERYER. 所 以 只 要 用 到 NFS 的 地 方 都 要 局 动 RPC 服 务 。 这 
样 SERVER 和 CLIENT 才 能 通过 RPC 来 实现 PROGRAM PORT 的 对 应 。 可 以 这 么 理 
解 RPC 和 NFs 的 关系 :4 入 Fy 是 一 个 文件 系统 ， 而 RPC 是 负责 负责 信息 的 传输 。 


网 络 七 层 协 议 与 NFS 协 议 的 对 应 关系 : NFS 是 处 于 应 用 层 的 协议 ，NFS 的 相关 模块 
为 ounf ，portmepper 模 块 ，mount 进 程 可 以 对 客户 端的 请 求 进 行 认证 ， 
portmaaper 提 供 了 客户 端 要 连接 的 端口 ，NlS 提 供 了 一 种 域 的 认证 方式 ，NFS 及 
其 相关 协议 都 需要 使 用 到 RPC ， 所 有 的 NFS 请 求 都 需要 通过 RPC 来 完成 ，XDR 是 
RPC 的 短 种 数据 编码 格式 。RPC 可 以 使 用 TCP/UDP 进 行 传输 。 


传输 万 式 \ 


。 使 用 UDP 协 议 
0 UDP 传输 在 NFS 局 域 网 的 应 用 中 传输 速度 快 
o UDP 协 议 传输 的 开销 小 
。 使 用 TCP 协 议 
可 靠 性 高 ， 有 效 的 阻塞 控制 
客户 端 和 服务 器 端 都 保留 TCP 连 接 的 状态 
服务 器 衣 溃 时 ， 客 户 端 只 需要 打开 一 个 新 的 TCP 连 接 
客户 端 朋 溃 时 ， 服 务 器 端 在 新 的 TCF 连接 到 来 时 ， 关 闭 原来 的 TCF 连接 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 56 NO HUAVWEI 


不 论 NFS 使 用 UDP 还 是 [CP，NFS 和 连接 都 是 无 状态 的 。 
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NFS CIFS 


WW 区 局 加 民 TCP 


自动 恢复 无 


UNIX 类 型 
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， 集群 NAS 技 术 
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集群 技术 


e。 定义 : 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 59 2 HUAWEI 





。 集群 技术 定义 : 


一 组 相互 独立 的 服务 器 在 网 络 中 表现 为 单一 的 系统 ， 并 以 单一 系统 的 模式 加 以 管 
理 。 此 单一 系统 为 客 己 工作 站 提供 高 可 靠 性 的 服务 。 


。 集群 技术 特点 : 


100 


0 统一 命名 : 大 多 数 模式 下 ， 和 集 群 中 所 有 的 计算 机 拥有 一 个 共同 的 名 称 ， 集 群 内 任 


一 系统 上 运行 的 服务 可 被 所 有 的 网 络 客户 所 使 用 。 


高 可 靠 性 : 集群 必须 可 以 协调 管理 各 分 离 的 组 件 的 错误 和 失败 ， 集 群 内 单一 系统 
的 失败 由 其 他 集群 成 员 来 弥补 ， 对 客户 是 不 可 见 的 。 集 群 内 部 各 节点 服务 器 通过 
一 内 部 局 域 网 相互 通讯 。 当 一 台 节 后 服 务 器 发 生 故 障 时 ， 这 人 台 服 务 器 上 所 运行 的 
应 用 程序 将 在 另 一 三 点 服务 器 上 被 目 动 接管 。 当 一 个 应 用 服务 发 生 故 障 时 ， 应 用 
服务 将 被 重新 局 动 或 航 另 一 合 服务 器 接管 。 当 以 上 的 任 一 故障 发 生 时 ， 客 亡者 将 
能 很 快 连接 到 新 的 应 用 服务 上 。 


性 能 扩展 : 并 可 透明 地 癌 集群 中 加 入 组 件 ， 提 升 系统 性 能 。 


共享 数据 空间 : 一 个 集群 包含 多 人 台 ( 至 少 二 全 ) 拥 有 共享 数据 存储 空间 的 服务 器 。 
任何 一 合 服务 器 运行 一 个 应 用 时 ， 应 用 数据 被 存储 在 共享 的 数据 空间 内 。 每 合 服 
务 器 的 操作 系统 和 应 用 程序 文件 存储 在 其 各 目的 本 地 储存 空间 上 。 


集群 NAS 存 储 系 统 概 念 与 特点 


。 集 群 NAS (Network Attached Storage) 系统 
o 概念 : 集群 NA 存储 系统 是 指 将 集群 扩 术 应 用 到 NAs 存 储 系统 中 ， 是 为 
应 对 非 结 构 化 数据 应 用 暴涨 ， 提 升 NAS 文 件 共 享 服务 的 性 能 和 高 可 靠 性 。 
o 集群 NAs 存 储 系统 与 传统 NAs 存 储 系统 的 对 比 : 


固定 引擎 架构 ; 频繁 更 新 及 添加 | 在 多 层面 提供 岳 展 优势 : NAs 机 头 ， 存 
导致 的 系统 停机 开始 影响 业务 储 容量 ; 支持 在 线 扩展 
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。 集群 NAS 存 储 系统 的 优势 : 

。 统一 存储 : NAS 服务 器 和 存储 分 离 。 间 时 支持 NAS 和 SAN 应 用 。 可 在 通过 NAS 服 
务 器 提供 文件 服务 的 同时 ， 提 供 直接 访问 后 端 存储 。 

。 高 性 能 ; 文件 系统 位 于 存储 侧 而 不 再 是 服务 器 侧 ， 从 而 回避 了 文件 读 写 过 程 中 数 
据 在 链 路 中 反复 传递 的 过 程 ,J 加 速 了 文件 的 读 取 速 度 。 

。 NAS 专 用 的 操作 系统 针对 数据 的 读 取 操 作 采 取 了 更 专业 的 优化 设置 ， 减 少 了 磁盘 
寻 道 时 间 ; 专用 的 文件 系统 更 有 利于 提高 文件 的 读 取 效率 ; 提供 多 路 径 宛 余 ， 可 
实现 应 用 链 负载 均衡 ;提供 分 级 存储 功能 ， 可 实现 数据 自动 迁移 、 快 速 故障 切换 
、 迁 移 和 切换 对 应 用 几乎 没有 影响 。 
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集群 NASs 数 据 通 道 互联 


N8500 系 统 N8500 系 统 
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集群 NA 系统 分 为 引擎 单元 和 存储 单元 ， 存 储 单 元 处 理 数 据 块 的 存储 ， 引 擎 单元 提供 
集群 文件 系统 的 逻辑 功能 。 引 擎 单元 和 存储 单元 通过 直 连 全 互联 ， 或 者 交换 网 络 实现 全 互 
联 ， 从 任何 一 个 引擎 闻 点 都 能 够 访问 到 任何 二 个 存储 单元 ， 从 而 保证 数据 通道 的 畅通 无 阻 ， 
并 且 提 供 元 余 路 径 实现 高 可 靠 性 。 

对 于 N8500 系 统 的 典型 配置 ， 两 个 引擎 节点 连接 到 存储 单元 ， 每 个 节点 都 有 路 径 连 接 
到 阵列 的 双 控 端口 中 ， 从 而 实现 全 互联 ， 并 且 提 高 隐 余 链 路 ; 对 于 N8500 系 统 的 典型 配置 ， 
引擎 世 点 通过 元 余 的 交换 机 连接 到 仓储 单元 ， 每 个 存储 单元 也 分 别 连接 到 了 见 余 交换 机 ， 从 


而 形成 全 宛 余 的 组 网 。 
N8500 系 统 的 2 引 敬 节点 典型 配置 下 ， 每 个 节点 提供 2 条 链 路 到 另外 一 个 节点 ， 从 而 即 


使 一 条 链 路 故障 时 ， 世 能 保证 通信 和 链 路 的 可 靠 性 。N8500 系 统 的 多 引擎 记 点 ， 则 是 连接 到 
2 个 交换 机 上 面 ,/ 从 而 提供 元 余 通 信 平 面 ， 保 证 可 靠 性 。 
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VCS 遂 信和 来 构 


代理 监控 各 个 系统 的 资源 ， 并 将 状态 提 
供给 每 台 机 器 的 HAD 

HAD 将 状态 发 送 给 GAB (Group 
Membership Services/Atomic 
Broaddcast) 


Gab 通过 广播 ， 将 配置 信息 发 送 到 集 | 于 人 -~ 
群 的 所 有 成 员 | 

LLT (Low-Latency Transport) 通过 

低 时 延 传 送 协议 ， 将 信息 发 送 的 集群 的 

所 有 节点 

在 各 个 万 点 的 HAD 采 取 正 确 的 行动 ， 

比如 必要 时 ， 进 行 倒 换 〈Failovem) 
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N8500 系 统 的 GLM 和 集群 技术 是 构建 在 LLT(LowkGQtency Transport)/GAB(Group 
Membership and Atomic Broadcoast) 底 层 通信 和 基础 上 ， 该 通信 层 直 接 构 建 在 以 太 网 二 
层 协议 上 ， 而 不 是 TCP/IP 层 上 。 考 虑 到 集群 通信 主要 传送 的 锁 信息 ， 通 常 帆 都 比较 小 ， 而 
TCP/IP 包 会 带 来 额外 的 大 帧 头 开 销 ; 同时 集群 通信 主要 在 私有 网 络 内 传递 ， 对 TCP/IP 在 广 
域 网 的 超时 重 传 、 滑 动 窗口 没有 太 驳 需求 。 


所 以 ，LLI 针 对 集群 锁 通 信和 需求 ， 直 接 利 用 以 太 网 帆 传 壕 包 ， 从 而 达到 提高 利用 率 的 目 
的 ， 并 且 设 计 自 己 的 沉 量 控制 、 超 时 重 传 、 以 及 重复 帧 处 理 ， 实 现 高 效 传输 。 

同时 ， 针 对 集群 多 引擎 记 总 通信 的 原子 要 求 ， 设 计 了 CAB 模 块 ， 它 保证 通信 的 原子 性 ; 
也 丈 是 说， 保证 在 集群 多 引擎 万 点 中 ， 消 息 要 么 被 所 有 5 引擎 节点 受到 并 确认 ， 要 么 所 有 5 引 
擎 P 氮 都 丢弃 该 消息 从 而 不 会 出 现 部 分 确认 消息 、 部 分 丢弃 消息 的 中 间 状 态 。 
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LLT 协 议 


LLT: Low Latency Transport 
属于 MAC 层 协议 ， 与 无关 
两 个 作用 : 

o 供 GAB 使 用 ( 单 播报 文 ) 

o 心跳 (0.5 秒 一 个 广播 报 文 ) 
N8000 中 有 三 条 私有 链 路 


Kernel 


Hardware “Rrivate Network 
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e。 N8000V2R1 01:~# cat /etc/llttab 
set-node N8000V2R1 01 
set-cluster 130 
link priveth0 eth-00:22:a1:0ar7bB:63 - ether - - 
link priveth1 eth-00:22:a 人 0a:7b:61 - ether - - 


DD 104 


GAB 


。 原子 广播 ， 实 际 上 是 点 到 
点 的 单 播 


。 使 用 LLT 协 议 发 送 数据 
。 管 理 集 群 成 员 : 


gabconfig -a 
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Group Membership Services/Atomic Broeaqdcast (GAB) 协议 负责 集群 成 员 集 通信 
和 集群 通信 。 


0 集群 成 员 集 : CAB 经 由 LLT 从 每 个 贡 避 接收 有 关心 路 状态 的 输入 来 维护 集群 成 员 集 。 
当 系统 不 再 从 对 等 端 接收 心 了 时 (hs) ， 会 将 对 等 并 标记 为 DOWN， 并 将 其 从 集 
群 中 排除 。 在 YCs 中 ， 成 员 集 是 参与 集群 的 系统 的 集合 。 


0 集群 通信 : CAB 的 第 二 项 功能 是 可 靠 的 集群 通信 。CAB 可 确保 将 点 到 点 消息 和 广播 

消息 发 送 到 所 有 蔬 氮 scC35 擎 使 用 专用 ICCTL (由 GAB 提 供 ) 来 判定 CAB 是 否 处 
于 活动 状态 

在 N8000 中 的 六 个 gab 成 员 ， 正 常 状态 和 部 分 项 的 局 动 命令 如 下 : 

Port gq gen balb40/ Membership 0123 heartbeat Membership /etc/init.d/llt start 

Por b gen bab40% Membership 0123 1|/O fencing Membership /etc/init.d/vxfen start 

Portfgen bepb412 membership 0123 CFS 

Port hgen bab40d mMmembership 0123 VCS hastart 

Porfy germ bab40d membership 0123 CVM 


Port w gen bab40f membership 0123 Cluster Yolume Manager daemons 
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fencing 


Fencing 功能 
监控 GAB， 并 检测 集群 成 员 的 变化 
保证 集群 成 员 的 单一 视图 ， 防 止 集 
群 脑 裂 
防止 从 多 个 节点 ， 在 没有 单一 
集群 控制 下 ， 用 卷 管理 器 访问 共享 
存储 
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1. 开 启 fencing 需 要 阵列 支持 SCsi3 


2. 在 N8000 中 ， 需 要 3 个 盘 作为 仲裁 盘 ， 建 议 磋 盘 来 自 同一 套 阵列 的 不 同 raid 组， 每 个 协调 
盘 大 小 为 100， 不 能 使 用 主机 lun id 为 0。 
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HAD 


。 VCS 的 引擎 ， 就 是 HAD (High 


availability daemon) ， 其 功能 : Agent AgeniAgent 


AAS 


在 集群 的 每 个 主机 系统 上 都 有 
该 进程 运行 

对 所 有 的 集群 资源 ， 维 护 配置 
和 状态 信息 

管理 所 有 的 代理 


用 hashadow 监 探 进程 HAD ， 在 
HAD 进 程 故障 时 ， 能 够 把 它 重 
新 局 动 起 来 
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1. 使 用 ps -ef| grep had, 可 以 看 到 两 个 进程 

root 13317 1 0 Oct2228 00:01:16 /opt/VRTSvcs/bin/had 

root 13347 1 0 Oct222 ©0:00:00 /opt/VRTSvCs/bin/hashadow 
2. 使 用 hastart 命 令 可 以 自动 开户 hagd 和 和 hashadow 
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全 局 存储 空间 管理 技术 


N8500 系 统 
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集群 NA3 系 统 在 数据 通道 和 通信 通道 实现 全 互联 的 基础 上 ， 采 用 集群 卷 管 理 技术 ， 提 
供 了 全 局 的 存储 空间 管理 。 也 就 是 说 ， 在 集群 中 的 任何 太 点 能 够 以 相同 的 卷 设备 名 字 访 问 
同一 存储 空间 ， 保 证 块 设 备 访问 的 一 致 性 。 
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集群 元 数据 害 理 





Delegation 


ry Wi pd te | 


引 划 单元 
六 主 拖 
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N8500 系 统 中 ， 元 数据 分 为 了 不 同 的 类 型 ,比如 : 超级 块 、 日 志 区 、 分 配 单元 (AU， 
Allocation Unii、INODE。 这 些 元 数据 具有 下 同 的 属性 ， 分 别 对 不 同 的 数据 管理 负责 ， 
比如 ， 超 级 块 对 整个 集群 文件 系统 的 数据 人 负责， 而 INODE 则 是 针对 单独 的 那个 文件 负责 。 


在 元 数据 分 类 的 基础 上 ，N8300 系 统 的 每 个 引擎 节操 就 可 以 担当 不 同 元 数据 处 理 的 贡 
任 主体 。 如 图 所 示 ， 第 一 个 引擎 节 扣 人 负 贡 超级 块 的 更 新 修改 ， 其 他 市 点 需要 对 元 数据 的 处 
理 ， 都 把 请 求 发 送 给 他 ; 第 二 兮 5| 敬 节点 负责 文件 F1 的 INODE 元 数据 更 新 修改 ， 其 它 太 点 
需要 操作 F1 文 件 ， 都 需要 把 请 求 发 送 给 该 引擎 好 点。 


同时 ， 在 任何 引擎 万 点击 障 后 ， 都 可 以 把 该 万 点 负责 的 元 数据 处 理 转移 到 其 他 任何 引 
擎 太 把 上， 从 而 实现 对 称 式 的 元 数据 处 理 ， 实 现 元 数据 处 理 的 负载 均衡 ， 提 高 元 数据 处 理 
的 效率 。 
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集群 元 数据 管理 


NN 
| 
天 -二 各 一 - 
| | NL 
人 


FS2 
| 


一 :元 数据 一 2 当 元 数据 一 一 二 一 元 数据 


Primary Secondary Secondary “Secondary 
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N8500 系 统 采用 对 称 式 的 设计 洲 构 ， 每 个 太 孔 都 可 以 参与 处 理 元 数据 ， 从 而 很 容易 形 
成 全 局 名 了 字 空 间 ， 让 系统 的 每 个 处 理 节 点 都 能 够 读 写 相同 的 文件 系统 ， 实 现 节 点 之 间 的 并 
发 访问 ， 如 图 所 示 。 

根据 元 数据 的 分 类 、 分 片 ， 让 每 全 节点 都 能 参与 元 数据 的 处 理 ， 减 少 世 点 之 间 转 发 元 
效 据 / 数 据 请 求 的 通信 量 ， 实 现 负载 均衡 。 
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集群 全 局 锁 机 制 


未 分 配 


fclobal 锁 记录 
clean : 


说 [SSI9bgl 视 记录 


OwnNer 


Primary Secondary >econdary Secondary 
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N8500 系 统 提供 了 全 局 的 命名 空间 ， 从 而 实现 条 多 个 太 扣 可 以 并 发 访问 同一 个 文件 系 
统 。 除 此 之 外 ，N8500 系 统 还 提供 全 局 锁 机 剂 $ 保证 不 同 节 挟 访 问 相 同文 件 系统 相同 文件 
并 发 访问 的 一 致 性 ， 通 过 细 粒 度 的 锁 设 计 , 保证 系统 的 并 发 性 。 

当 不 同 节 点 访 问 文件 F1 的 不 同 区 域 时 ,通过 该 文件 的 所 有 者 (Owner) 进 行 仲裁 ， 如 果 
没有 其 他 世上 点 访问 对 应 区 域 ， 则 人 多 许 该 万 点 读 与 数据 ; 如 果 发 现 有 其 他 节操 访问 该 区 域 ， 
则 出 现 冲突 ， 该 所 有 者 就 会 让 新 请 来 等 待 ， 直 到 读 写 该 区 域 的 请 求 完 成 ， 然 后 通知 等 待 该 
区 域 的 节点 苋 争 锁 。 通 过 此 机 机 ， 实 现 了 集群 多 市 点 范围 内 的 一 致 锁 所 处 理 ; 同 时， 通过 
细 粒 度 的 区 域 寅 设计 ， 你 证 高 并 发 。 
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Agent 


。 Agent 是 控制 资源 的 程序 
。 每 种 类 型 的 资源 对 应 一 个 代理 ， 一 个 代理 控制 对 应 类 型 的 所 有 资源 
。 用 户 也 可 以 目 定 义 代理 


~、/ 


Resources c1todos0 
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服务 组 --NFS 为 例 N 


服务 组 是 资源 的 一 个 集合 ， 是 控制 资源 
的 管理 单元 

一 个 节点 (node) 可 以 有 多 个 服务 组 
每 个 服务 组 都 被 独立 的 监控 和 管理 
服务 组 中 的 资源 在 系统 中 必须 是 可 用 的 
服务 组 和 资源 存在 相互 依赖 关系 


NFS Service Group 
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服务 组 状态 查看 命令 : hagrp - State 
服务 组 依赖 关系 查看 命令 : hagrp - dep 
服务 组 包含 资源 命令 : hagrp -resources 


提示 : ha 开头 的 命令 都 是 vcs 的 命令 
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服务 组 的 撩 型 


Falilover Service Groups 


0 ”在 某 一 时 间 ， 该 Service group 只 能 运行 在 一 个 系统 上 (System) ， 在 对 数据 
一 致 性 要 求 高 (比如 数据 库 ， 网 络 文件 系统 (NFS) ) 的 情况 下 ， 使 用 该 组 。 


Parallel Service Groups 


0 在 菏 一 时 间 ， 可 以 部 署 在 多 个 系统 上 配置 比 Failover Service SA 


复杂 很 多 
Hybrid Service Groups 
O 是 上 面 两 种 Service groups 的 组 合 
在 N8000 中 只 使 用 了 Failover 和 Parallel 两 种 
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资源 (Resource) 定义 


。 资源 是 VCS 对 象 ， 它 对 应 到 应 用 服务 的 硬件 或 者 软件 组 件 
。 资源 是 放 在 服务 组 里 面 的 定义 和 管理 的 。 
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group VIPgoroup1l ( 
SystemList = {tcl 2=1,tcl 1=0} 
AutoStartList = {fcl 2, tcl_1} 
FailOverPolicy = Load 
AutostartPolicy = Load 
PreOnline = 1 
Load = 40 
) 


IP VIPI1 (Deyice = bondO Address = "192.168.34.101 “ NetMask = 
“255.255.255.UN ) 


NIC VIPNIG1 (Device = bondO Mii=0) 


reqdUires group PhantomMgroup_bond0 online local firim 


VIP reqguires VIPNICI 
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资源 依赖 天 系 


资源 可 以 依赖 其 他 资源 

父 资源 依赖 子 资源 

服务 组 可 以 依赖 其 他 服务 组 
资源 和 服务 组 之 间 的 依赖 关系 由 
规则 管理 

不 允许 出 现 循环 依赖 


如 plcalon requres database and |P address, 


Application 


lletw ok 


Disk Group 
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A 


。 查看 资源 详细 信息 命令 : hares - State 以 及 hefes - display 
看 


资源 依赖 关系 : hares - dep 
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集群 NAS 卷 管理 技术 
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VxVM 基 本 概念 


物理 对 象 : 能 被 0s 看 到 的 物理 存储 设备 

虚拟 对 象 : VxVM 进 行 存储 设备 管理 的 逻辑 对 象 。VxVM 通 过 虚拟 对 象 和 物理 设备 的 
映射 来 访问 存储 设备 

虚拟 对 象 有 : 卷 ， 磁 盘 组 ，VM 磁 盘 ， 子 磁盘 ，Plex 

卷 布局 : 卷 的 布局 是 指 卷 与 物理 存储 设备 的 映射 关系 ， 即 卷 与 一 个 或 多 个 Plex 的 关联 
关系 。 不 同 的 卷 布局 提供 不 同 级 别 的 存储 服务 


一 个 物理 磁盘 ， 分 区 或 者 UN 
若干 个 VM 磁 盘 的 组 合 
VM 磁盘 上 连续 的 磁盘 块 


由 一 个 或 多 个 物理 磁盘 上 的 一 个 或 者 多 个 秆 位 盘 组 成 


由 一 个 或 多 个 Flex 组 成 
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VERITAS Volume Manager 位 于 操作 系统 炸 数据 管理 系统 (文件 系统 、 数 据 库 管理 系 
统 ) 之 间 ， 利 用 操作 系统 提供 的 接口 服务 访问 磁盘 ; 将 连接 到 主机 的 物理 存储 设备 屏蔽 ， 
为 数据 管理 系统 提供 了 一 层 称 之 为 卷 的 逻辑 设备 ;除了 提供 磁盘 管理 的 基础 功能 外 ， 还 提 
供 了 其 他 一 些 高 级 功能 。 
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VxVM 虚 拟 对 象 之 则 的 关系 


Disk Group 


expvol-01 


~ 


下 全 


VxVM Disks acctdg01 acctdg02 
acctdg01-01 
Subdisks acctdg01-02 


ES 
Physical Disks 
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acctdg03-02 





磁盘 组 : 是 使 用 公共 配置 并 由 VxVM 管 理 的 二 些 人 磁盘 的 集合 。 人 磁盘 组 配置 是 包含 相关 
VxVM 对 和 象 机 器 属性 和 联系 的 详细 信息 的 记录 集 。 


VM 磁盘 : 将 物理 磁盘 置 于 VxVM 控 制 之 下 时 ， 系 统 会 为 该 物理 磁盘 分 配 一 个 VM 磁盘 。 
VM 磁 盘 受 YXVM 控 制 ， 通 常 位 于 某 个 磁盘 组 中 。 每 个 WVM 磁 盘 至 少 与 一 个 物理 磁盘 或 
磁盘 分 区 对 应 。 


子 磁盘 : 是 一 组 连续 的 磁盘 块 WxYM 使 用 子 磁 盘 分 配 磁 盘 空 间 ， 一 个 YVM 磁 盘 可 以 分 
成 一 个 或 多 个 子 磁 盘 。 一 休 VM 磁 和 盟 可 以 包含 多 个 子 磁盘 ， 但 子 磁盘 不 能 互相 重 倒 或 共 
主 VM 磁 盘 的 同一 部 分 。 


Plex: VXxVM 使 用 子 磁 盘 创 建 称 为 Pplex 的 虚拟 对 象 。Plex 由 位 于 一 个 或 多 个 物理 磁盘 上 
的 一 个 或 多 个 子 磁盘 组 成 。 


卷 : 是 一 种 虚拟 的 磁盘 设备 ， 束 应 用 程序 、 数 据 库 和 文件 系统 而 言 ， 它 与 物理 磁盘 设备 
很 相似 , /但 没有 物理 磁盘 设备 的 物理 局 限 性 。 卷 由 一 个 或 多 个 plex 组 成 ， 每 个 plex 都 包 
合 郑 中 所 选 数据 的 一 个 副本 。 


yt PuplicoZ - ENABLED - - ACTIVE -  - 

v Pyblico7_tierl publico07 ENABLED 23622320128- ACTIVE - - 
plpublico7_tier1-01 publicO07_tierl ENABLED 23022328320 - ACTIVE-  - 
sd ENGENIO-1_5-01 publico7_fier1-01 ENABLED 28519303680- - - 


[| 1191 


VxVM 虚 拟 对 象 之 则 的 关系 


Disk Group 


Volumes 


Plexes 


VxVM Disks acctdg03 9 


Subdisks ac stdg01-02 acctdg 


Physical Disks 
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sd ENGENIO-1 10-01 public07_tier1-01 ENABLED 1872535296 2851930368 -- - 
sd ENGENIO-1 6-01 public07_tier1-04 ENABLED 2851930368 0 - - - 
sd ENGENIO-1 11-01 publicO07_tierf01 ENABLED 1872535296 2851930368 -- - 
sd ENGENIO-1 7-01 public07 tier1s01 ENABLED 2851930368 0 - - - 
sd ENGENIO-1 12-01 public07_tier1-01 ENABLED 1872535296 2851930368 -- - 
sd ENGENIO-1 8-01 publicO7 tier1-01 ENABLED 2851930368 0 - - - 
sd ENGENIO-1 13-01 public07_tier1-01 ENABLED 1872535296 2851930368 -- - 
sd ENGENIO-1 9:01 public07_tier1-01 ENABLED 2851930368 0 - - - 
sd ENGENIO-1 “44-01 public07_tier1-01 ENABLED 1872535296 2851930368 -- - 
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卷 布局 - 条 市 化 《〈《RAID-0 N 


Disk Group 


Volume 


eI SN » 


Plex 
SUbdisks 
VxVM Disks 
SUbdisks 


Columns 


I 
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条 带 化 RAID-0) 是 对 数据 进行 映射 ,。 从 而 穗 数 据 交错 分 布 在 两 个 或 两 个 以 上 的 物理 
磁盘 上 。 一 个 条 带 plex 包 含 两 个 或 更 多 个 磁盘 ， 子 磁盘 可 以 组 合成 “ 列 ”， 每 个 物理 磁盘 
都 被 限制 在 一 列 中 。 一 个 列 包含 一 个 或 多 个 子 磁盘 ， 并 且 可 以 从 一 个 或 多 个 物理 磁盘 中 泊 


生出 来 。 每 列 的 子 磁 盘 的 数量 和 大 小 可 能 各 不 相同 。 如 果 需 要 可 以 周 列 中 添加 更 多 的 子 磁 


vf fs | - ENABEED -下 - ACTIVE - - 

v fsl_tierl fsi ENABLED 608174080- ACTVE - - 
plfsl_tier1-O1fsl_tierR DISABLED 608174080- NODEVICE- - 

sd Oceanstor®. 0-02fs1_tier1-01 DISABLED 6081740800 NODEVICE- - 
plfsl_tiert-02fs1_tierl ENABLED 608174080- ACTIVE - - 

sd OceanstorO_1-02fs1_tierl1-02 ENABLED 6081740800 - 2 
plfsixsier1204f1_fierl ENABLED LOGONLY - ACTIVE - - 


sd OceanSstorO 1-03fs1 fierl1-04 ENABLED 2112 LOG - - 
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卷 布局 - 镜像 (RAID-1) 


Disk Group 
ow 
Volume 
Plex 
SUbdisks 
VxVM Disks 


SuUbdisks 


pe dqataqvol-01 dqatqvol-02 


i 


datadg01 idg detadg03 


datadgo1-01 TI 01 医生 


datadg03-02 
datadg02-03 电 | epiagoo3 03 
I EL 


Each plex must have disk stor from different disks 10 achieve redundancy. 


NW HuAwel 


镜像 功能 使 用 多 个 镜像 (plex) 复制 卷 中 包含 的 信息 。 在 物理 磁盘 发 生 故 障 的 情况 下 ， 


故障 磁盘 上 的 Plex 将 变 得 不 可 用 ， 但 系统 仍 可 使 用 未 受 影响 的 镜像 继续 运行 。 


122 有 


镜像 的 每 个 plex 用 到 的 物理 磁盘 可 以 来 目 不 同 RAID 组 或 不 同 存 储 阵列 。 

vt public07 - ENABLED- - ACTIVE - - 

v publicu7_tier1 public07 .ENABEED 23622320128- ACTIVE - - 

pl public07_tier1-01 publicb7_ tier1 ENABLED 23622328320 - ACTIVE - - 

sd ENGENIO-1 5-01 publico07_tier1-01 ENABLED 2851930368 0 - - - 

sd ENGENIO-1 140-0Tpublic07_tier1-01 ENABLED 1872535296 2851930368 -- - 
sd ENGENIO- 个 6-01 public07_tier1-01 ENABLED 2851930368 0 - - - 

sd ENGENIO- 个 11-01 public07_tier1-01 ENABLED 1872535296 2851930368 -- - 
sd ENGENIOs4_ 7-01 public07_tier1-01 ENABLED 2851930368 0 - - - 

sd ENGENIO-1 12-01 publicu7_tier1-01 ENABLED 1872535296 2851930368 -- - 
sd ENGENIO-1 8-01 publico7_tier1-01 ENABLED 2851930368 0 - - - 

sd ENGENIO-1 13-01 publicu7_tier1-01 ENABLED 1872535296 2851930368 -- - 


卷 布局 - 镜像 (RAID-1) : NN 


Volume 
datavol 
Plex 


Subdisks , dqatavol-01 dataqvol-02 | 


NR 


VxVM Disks 


Subdisks 
下 


datadgol datadg02 守 @ datdqdg03 


gg NSNN NS SR W 
datadg01-01 dqatadg02-01 datodg03-01 


ol 


datadg02-03 | dsfddgo3-03 
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sd ENGENIO-1_9-01 public07_tier1-01ENABLED 28519303680- - - 
sd ENGENIO-1_14-01 public07_tier1:01 ENABLED 1872535296 2851930368 - - - 
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大 数据 存储 水 构 

大 数据 存储 技术 

大 数据 分 析 技 术 
数据 安全 技术 
NAs 基 础 技术 

集群 NA 技术 
集群 NAS 卷 管理 技术 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 83 CD HUAWEI 





[| 124 1 


请 摘 述 大 数据 存储 的 3cale-out 

对 象 存储 与 传统 存储 的 区 别 是 什么 ? 

EC 技术 的 元 余 原 理 是 什么 ”如 何 实现 快速 恢复 
集群 NAS 中 如 何 实现 集群 节操 间 信 息 通 信 ? 

集群 NAS 中 资源 、 代 理 、 服 务 之 间 的 关系 是 什么 ? 
集群 NAS 中 低层 虚拟 化 通过 什么 实现 ? 
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人 
Ye, 
:2 


www.huawel.com 


Thank you 





HC1209203 集群 NAS 系统 部 署 与 管 
理 


NG 


HUAWEI 








HCLC1209203 


大 数据 存储 集群 NAS 系 
统 部 署 与 官 理 
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目标 


。 学 完 本 课程 后 ， 您 将 能 够 : 
o 描述 集群 NAS 硬 件 组 成 和 软件 特性 
掌握 N8500 系 统 内 外 组 网 
掌握 N8500 软 硬件 安装 
掌握 NFS 和 CIFS 配 置 部 署 
了 解 高 级 特性 原理 与 配置 
了 解 集群 NAS 应 用 方案 
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多 目录 


1. 集群 NAS N8500 硬 件 


2 
3 
4. 
3 
6 
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集群 NAS N8500 存储 系统 


。 需求 
o 随 着 信息 化 进程 加 快 ， 数 据 急 速 增长 ， 非 结构 化 数据 的 
增长 速度 更 是 远 超 预期 。 如 何 对 海量 数据 进行 统一 集中 
存储 和 高 效 简单 管理 ， 以 便 更 好 的 适应 业务 的 持续 增长 
， 对 存储 系统 提出 了 更 加 严 奇 的 要 求 
特点 : 


o OceanStor N8500 集 群 NAS 存 储 系 统 是 一 款 面 向 大 数 
据 的 高 性 能 NAs 存 储 ， 具 有 高 性 能 、 易 扩展 、 高 效 数 据 
管理 和 统一 存储 等 特点 
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。 高 性 能 
。 性 能 领先 : N8500 在 SPEC sfs2008 基 准 评测 中 性 能 业界 第 一 ， 其 中 NFS 协 议 下 性 
能 达到 3064602 OPS 
。 集群 架构 : 多 节点 全 Active 靠 群 技术 ， 集 群 中 所 有 节点 可 协同 工作 ， 实 现 对 数据 
的 并 发 访问 


n 全 局 共享 存储 空间 :所 有 节点 可 以 同时 访问 相同 的 存储 空间 ; 通过 DNS 实现 负载 
均衡 ， 将 负载 平均 分 配 于 集群 节点 上， 提升 节点 资源 利用 率 


。 高 可 靠 架构 设计 : 所 有 部 件 均 为 宛 余 设计 ， 无 单 点 故障 ; 数据 保险 箱 技术 、 文 件 
系统 镜像 等 软件 技术 进一步 提高 系统 可 靠 性 
。 灵活 扩展 
。 引擎 节点 可 扩展 : 引擎 节点 可 最 大 扩展 至 24 节 点 ， 系 统 性 能 随 引擎 节点 增加 线性 
增长 
/存储 容量 可 扩展 : 存储 容量 可 扩展 到 高 达 15PB 
。 高 效 数据 管理 
人 > 动态 分 级 存储 功能 : 基于 文件 访问 频率 、 时 间 策 略 在 不 同 存储 介质 之 间 实 现 双向 
动态 迁移 ， 对 应 用 透明 ， 降 低 企业 投资 成 本 


0 动态 数据 缓存 : 通过 使 用 内 存 驱 动 器 来 扩展 缓存 并 配合 动态 数据 缓存 扩 术 ， 提 升 
系统 性 能 
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口 


口 


口 


集群 NAS N8500 存储 系统 


o 随 着 信息 化 进程 加 快 ， 数 据 急 速 增长 ， 非 结构 化 数据 的 
增长 速度 更 是 远 超 预期 。 如 何 对 海量 数据 进行 统一 集中 
存储 和 高 效 简单 管理 ， 以 便 更 好 的 适应 业务 的 持续 增长 
， 对 存储 系统 提出 了 更 加 严 奇 的 要 求 

特点 : 

o OceanStor N8500 集 群 NAS 存 储 系 统 是 一 款 面 向 大 数 
据 的 高 性 能 NAs 存 储 ， 具 有 高 性 能 、 易 扩展 、 高 效 数 据 
管理 和 统一 存储 等 特点 
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文件 系统 镜像 功能 : 同一 存储 系统 内 可 设置 文件 系统 和 镜像， 保存 多 份 数据 ， 提 高 
在 线 数据 的 可 靠 性 


软 配额 / 硬 配额 管理 : 实现 灵活 的 用 大 空间 分 配 和 使 用 
域 管理 : 支持 AD/NIS/LDAP 
多 种 数据 保护 扩 术 : 提供 快照 、 拷 贝 、 远 程 复 制 等 多 种 增值 特性 


。 统一 存储 
0 协议 统一 : 包含 3AN 和 NAS 和 存储 协议 的 统一 存储 ， 同 一 存储 系统 支持 结构 化 和 非 


口 


结构 化 数据 存储 。 支 持 SCSIl、FC、FCoE、NFS、ClFS、HTTP、FTP 等 多 种 存储 
网 络 协 议 


管理 统一 : 通过 简洁 的 图 形 化 界面 ， 提 供 文件 、 块 数据 业务 的 统一 管理 。 问 导 式 
的 配置 方式 y 协助 用 户 轻松 完成 各 项 配置 


设备 监控 : 图 形 化 管理 界面 提供 实时 /历史 性 能 统计 功能 ， 文 持 声 、 光 、 邮 件 等 
多 种 告警 方式 ， 随 时 掌控 设备 运行 情况 
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N8500 和 集群 NAS 物 理 结构 
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在 N8500 集 群 NAS 中 ， 集 群 节点 间 的 通讯 通过 专用 的 心跳 网 络 来 实现 ， 引 擎 节点 可 以 在 
线 扩展 ， 性 能 随 着 节点 扩展 线性 增加 ; 引擎 与 存储 单元 之 间 通 过 光纤 交换 设备 连接 ， 为 集 
群 NAS 提 供 灵 活 扩展 的 存储 空间 。 

FC SAN 作 为 N85000 引 擎 与 存储 单元 间 的 内 部 组 网 ; 引擎 通过 IP 网 络 向 外 提供 NFS 和 
CIFS 文 件 共享 服务 。 
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N8500 集 群 NAS 逻 辑 结 构 SS 


| ES 
NAS NAS NAS NAS 
节操 1 各 2 PaiN PRN+1 
GEMOGE | GEMOGE GEMOGE | GEMOGE 


SAS 
egeaeege 000w0 和 GO 
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集群 NAS5| 擎 节 扣 间 通 过 1GE 和 连接 心跳 网 络 , 完 成 集群 控制 信息 通信 ; 
每 个 态 点 对 外 提供 1GE 或 10GE， 提 供 NAS 和 存储 服务 和 文件 业务 数据 传输 ; 


每 个 集群 万 点 与 后 端 存 储 单元 通过 FS 网 络 连接 ， 组 成 yAN 网 络 ， 引 警 为 发 起 端 ， 存 储 
为 目标 段 ; 


存储 控制 器 与 硬盘 〈 硬 盘 框 /之 间 通 过 >As> 网 络 连 接 ， 组 成 见 余 网 络 。 
存储 单元 其 余 iSCSI 或 FC 主机 端口 可 以 直接 连 援 业 务 服务 器 ， 提 供 3AN 存 储 服务 。 
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N8500 系 统 人 硬件 组 成 


和 | Fc 交换 机 (可 先 ) 
和 | GE 交换 机 (可 选 | 


CE 交换 机 
NAS 引 擎 集群 心跳 网 络 


CNEN (集群 N 
引擎 ) 
集群 NA 引擎 节点 
。 系统 盘 : SSD 硬盘 
。 内 存 : 16GB/24GB/48GB/96GB/192GB 


存储 单元 : 和 >SUC and SUD 
。 单 框 支持 12/24 块 硬盘 ; 支持 和 
/NL SAS \ | (仓储 单元 ) 


NW Huawel 





。 N8500 系 统 硬 件 主要 组 成 : 
o 集群 NAS5| 擎 机 框 ， 每 个 集群 NAS5| 擎 机 框 包 括 2 个 集群 NAS5| 擎 节点 (CNEN) 
0 存储 单元 ， 包 括 存 储 单元 控制 框 (3UC) 和 存储 单元 硬盘 框 (SUD) 。 
0 以 太 网 交换 机 (可 选 ) 
0 光纤 交换 机 (可 选 ) 
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N8500 NASs 引 擎 


控制 模块 

。 双 控 制 器 

。 主流 服务 器 平台 
。 有 自动 变频 ， 降 低能 
。 提供 系统 下 电 按钮 


接口 模块 

。 每 节点 默认 提供 4 个 CE 
业务 、4 个 8G FC 后 端 存 
储 接口 、2 个 GE 心跳 接 
口 

。 每 节点 提供 3 个 PCIE2.0 
8x 接 口 卡 模 位， 用 于 扩 
展 GE/10GE 业 务 接口 卡 
或 者 8G FC 后 端 存储 接 
口 卡 。 

。 各 种 接口 卡 支持 热 揪 拔 
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中 间 的 管理 模块 第 一 个 口 是 管 理 网 口 ， 


本 地 系统 模块 


。 内 置 高 可 靠 >yD 作 为 本 地 系统 盘 


。 每 个 系统 模块 提供 一 


。 每 个 系统 模块 提供 一 个 串口 ， 


时 的 调试 。 


第 二 个 未 使 用 ， 


个 独立 管理 口 


软件 故障 


X 


风扇 模块 

。 风扇 半 1] 甩 余 

。 散热 功 耗 小 
"智能 精细 化 调 速 
电源 模块 
F270 作 

， 转换 效率 高 达 92% 
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第 三 个 是 串口 


[ 


137 中 


N8500 存 储 单 元 -- S5600T/S5800T/S6800T 


控制 模块 入 BBU 模 块 
。 双 控制 器 por 人 。2+2 宛 余 
。 主 流 服务 器 平台 | 四。 。 支持 直流 /交流 电源 掉 电 


。 自动 变频 ， 降 低能 保护 


耗 
| | a 
。 提 供 系统 下 电 按钮 以 
。 风 局 5+1 才 余 
。 散热 功 耗 小 
接口 模块 。 智能 精细 和 化 调 速 
。 12 个 接口 卡 槽 位 
。 最 大 支持 1440 盘 Ss 
A EB EE ER 2 e 2+2 几 三 
。 接 口 卡 支持 热 插 拔 Lo ol 本 
。 接口 类 型 丰富 : 8G 管理 模块 。 转换 效率 高 达 92% 
FC 4G FC 6G Pe 
A ee CEE 。 1+1 多 余 ， 支 持 热 插 拔 
。 内 置 高 可 靠 5SD 作 为 系统 保险 箱 


电源 模块 
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N8500 存 储 单 元 一 S5500T 控 制 框 \ 


2.5inch 硬 盘 插 框 
ne 。24X2.5inch 硬 盘 ; 支持 主流 SAS、SATA、 


SSD 盘 ; 前 四 个 盘 为 保险 箱 盘 ，2+2 风 余 ; 
每 个 硬盘 可 独立 上 下 电 


3.5inch 硬 盘 插 框 以 


电源 模块 
e 1+1 宛 余 
综 制 模块 。 转 换 效率 最 高 达 92%% 
。 主流 桌面 CPU 平台 
。 提 供 管理 网 口 和 串口 
。 es 呈 。 风 局 3+1 几 余 
。 支 持 1 个 iSCSI 接口 卡 。 智能 精细 化 调 速 
| 。 内 置 BBU ， 支 持 掉 电 数 据 保护 
。 板 载 4 个 8G FC 接口 


风扇 /BBU 模 块 
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N8500 存 储 单元 --S2600T 控 制 框 


3.5inch 硬 盘 揪 框 
a 。 支持 主流 SAS、SATA、SSD 盘 
。 前 四 个 盘 为 保险 箱 盘 ，2+2 克 余 
X 
电源 模块 
。 1+1 才 作 
。 转换 效率 最 高 达 22% 


盘 控 一 体 控 制 模块 风扇 /BBU 模 块 

。 提供 管理 网 口 和 串口 。 风 届 智能 精细 化 调 速 

。 板 载 2 个 4 “6Cb >As 接 口 。 内 置 BB 之 持 挥 电 数 据 保 护 
。 文 持 1 个 扩展 |/O 〇 模块 

。 板 载 6 个 GE 接口 
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N8500 交 换 组 件 一 FC/GE 交 换 \ 


N8500FC 交 换 单 元 SNS 交 换 机 


堆 秋 端口 ， 可 由 
10Gb 升 级 至 


8Gb 端口 ， 最 于 20 口 
端 最 大 文 持 20Gb 


(内 部 连接 NAS 引 擎 和 存储 ) 


N8500 GE 交换 单元 55324 交 换 机 


电源 接口 
直流 /交流 
GE 端口 ， 用 于 两 节点 以 上 
NAS 引 擎 心跳 组 网 
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N8500 系 统 关 键 指 示 灯 


。 上 设备 默认 绿色 指示 灯 代 表 正 常 ， 红 色 代 表 故 障 或 异常 
。 以 下 重点 摘 述 几 个 有 用 指示 灯 状 态 : 


电源 模块 运行 /告警 指示 灯 红色 ， 闪 : 输入 欠 压 《包括 交流 断 电 ) 或 过 虑 。 


NAS 业 务 模块 | 电源 指示 灯 绿色 ， 闪 系统 启动 阶段 。 
系统 插 框 ”| 电源 指示 灯 绿色 ， 闪 :机 框 正在 上 电 或 下 电 。 
系统 管理 模块 说 色 ， 闪 ， 正 在 传输 数据 4 


Te 音色 ， 亮 :数据 传输 速 罕 为 19Gbit/s。 
接口 模块 


后 | : 数据 传输 速率 为 8Gbit/s。 
| . 亮 : 数据 传输 速率 为 4Gbit/s 或 2Gbit/s。 


~、 
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N8500 硬件 特性 


系统 架构 多 节点 全 Active 集 群 架 构 


缓存 /每 节点 基础 版 : 16GB; 标准 版 : 24GB 


企业 版 : 48GB; 增强 版 : 96CB/192CB 


CE 端口 /每 节点 标 配 4x CE， 可 扩展 至 16 x GE 


10GE 端 口 /每 节点 ”| 最 大 支持 6 x 10GE 


文 持 的 硬盘 类 型 SSD、SAS、SATA、NL-SAS 


物理 存储 容量 可 动态 扩展 ， 最 大 15PB 
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名 目录 


1. 
2. 集群 NAS N8500 系 统 软件 


3 
4. 
3 
6 
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集群 NAS N8000 软 件 架 构 
ms "BGG 


共享 存储 空间 


>、 
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N8500 系 统 软 件 模 块 


GLM 
分 布 式 镇 管理 


me 播 





N8500 的 集群 NAS 软 件 基于 了 商用 的 CFS 开 发 , 通过 在 专用 64 位 存储 系统 上 安 沪 CPS 软件 
， 并 配置 NFS 和 sQmba 等 服务 以 对 外 提供 NAS 访 问 接口 。 


N8o500 集 群 NA 软件 的 核心 部 件 CFs 提 供 了 大 量 的 增值 功能 ， 如 快照 、 动 态 分 级 存储 等 
功能 。Filestore 软 件 及 应 用 架构 示意 图 如 图 所 示 。FileStore 软 件 由 核心 层 的 CFS、CVYM 软 
件 和 用 户 层 的 各 类 NAs 服 务 应 用 组 成 。 file>fore 软 件 部 署 于 集群 NA 引擎 节 氮 (Node) 
上 ， 集 群 NAS 引 擎 节点 可 通辽 入 群 方式 扩展 ， 提 供 全 Active 的 集群 架构 。 所 有 广 点 可 访问 
同一 个 共享 存储 空间 ， 对 外 可 通过 以 太 网 器 上 层 应 用 提供 NAS 业 务 。 


N8500 和 集群 NAS 存 储 系统 提供 GUI 和 CLI 两 种 管理 方式 。GUI 支 持 NAS 引 | 擎 和 存储 单元 统 
一 管理 ，CLI 仅 支持 NAS3| 擎 和 存储 单元 独立 管理 。 另 外 有 些 高 级 功能 及 部 分 系统 配置 功 
能 仅 适 用 CLI 支 持 ， 面 同 高 级 管理 维护 人 员 。 


DD 1460 


N8000 系统 软件 组 成 


。 N8000 系统 软件 基于 storage Foundation， 简 化 用 户 操作 接口 ， 增 加 
NAS 服 务 


Storage Foundation 
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N8500 系 统 软件 基于 Veritas storage Founeefion 和 Veritas Cluster Server (VCS) ， 
简化 用 户 操作 接口 ， 增 加 NAS 服 务 。 

Storage Foundoation 是 VxVM ( 卷 管理 ”和 VxFS (文件 系统 ) 组 合 构成 的 ， 都 属于 存 
储 ，VCS 是 集群 软件 ， 管 理 3FS。 


CVM 和 CFS 跟 VM 和 FS 有 联系 的 > FS 在 VCS 的 省 理 下 成 为 集群 文件 系统 CFS3，VM 就 是 
VCs 管 理 的 VM， 集 群 卷 管 理 ; 


VXxYM: 春 管 理 组 件 , 和 搞 贡 存储 常理 功能 。 
VxFS: 文件 系统 组 件 ， 负 责 文件 党 理 。 
VCS: 集群 管理 组 件 ， 负 责 集 群 资产 的 党 理 。 
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集群 NAS 的 实现 


Single System ¢ a Cldster 





>、 
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N8500 软 件 特性 


软件 特性 
RAID 支 持 0、1、3、5、6、10、50 


文件 系统 大 小 | 可 动态 扩展 ， 最 大 256TB 
支持 快照 数量 | 512 (每 个 文件 系统 ) 
在 全 协议 


访问 控制 NIS、 Microsoft Active Directory、 LDAP 
其 他 协议 NDMP、 SNMP、 NTP 


DST (动态 分 级 存储 ) 、Snapshot、Mirror、QUota、Replicgiien、 

增值 功能 smarCache (动态 数据 缓存 ) 、HyperThin (自动 精简 配置 ) 、NyperlImage 
(快照 ) 、HyperCopy (LUN 拷 贝 ) 、HyperClone (分裂 镜像 ) 、 
HyperMirror (同步 /异步 远程 复制 ) 


配额 文 持 NFS/CIFS 的 软 / 硬 配额 管理 


管理 方式 ”| GUI、CL 
兼容 性 Windows、Linux、Mac OS、Solaris、AIX、 有 RPR-UX 等 主流 操作 系统 
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.集群 NAS N8500 组 网 连接 
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N8500 模 块 接口 





| 
盟 
| 
El 
加 
加 
加 
图 
图 
互 
四 
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a 
加 
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1 代表 心跳 网 口 ， 采 用 1Gb iSCSI 组 建 心跳 网 络 ， 每 个 集群 NAS 引 擎 节点 提供 编号 为 PO 
和 P2 的 2 个 网 口 用 于 心跳 连接 ， 该 网 口 只 用 于 心跳 连接 ， 此 接口 卡 的 其 他 两 个 网 口 不 使 
用 。 


2 代表 存储 接口 ， 采 用 8Gb FC， 通 党 通过 交换 机 交换 机 连接 存储 ， 每 个 集群 NA 引擎 
节 所 提供 2 个 ， 建 议 按 端口 顺序 使 用 |。 


3 代表 业务 网 口 ， 采 用 1Gb Esl、10Gb is9Csl， 建 议 按 网 口 顺序 使 用 ， 两 个 集群 NA 
引擎 世 点 必须 提供 相同 数量 s- 头 型、 位 置 的 网 口 。 


口 到 维护 终端 所 在 的 网 络 。 


5 代表 管理 串口 > 通过 超级 终端 进入 CLI 界 面 ， 波 特 率 是 115200， 其 他 默认 。 
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集群 NAS 心 跳 组 网 一 2 节点 


焦 群 NAS 引 擎 机 杠 


人 


CNEN 2 接口 模块 CNEN 1 接口 模块 AS 
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集群 NAS5| 僻 配置 2 个 CNEN 时 ， 心 跳 网 络 可 采用 直 和 连 的 方式 。 每 个 集群 NAS5| 歼 市 点 
提供 编号 为 P0 和 P2 的 2 个 网 口 用 于 心中 连接， 该 网 口上 只 用 于 心路 连接 ， 此 接口 卡 的 其 他 两 
个 网 口 不 使 用 。 
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集群 NASs 心 跳 组 网 一 4 节点 


集群 NAS 引 和 苞 机 框 


Pi 
CNEN 2 接口 模块 CNEN 1 接口 模块 
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集群 NA 引擎 配置 3 个 24 个 CNEN 时 。 必 须 为 心跳 网 络 配置 2 合 以 六 网 交换 机 ， 组 建 
多 合 CNEN 的 心跳 网 络 。 
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集群 NAS 业 务 网 络 连 接 1 


一 > n 
NEN 1 接口 模块 
扩展 的 1 GbiVs 业 务 网 疏 
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。 单个 CNEN 缺 省 配置 的 业务 网 口 数量 为 4 个 。 
。 CNEN 可 以 与 业务 主机 直 连 ， 也 可 以 连接 至 业务 网 络 中 的 交换 机 : 
。 每 个 CNEN 可 以 提供 4 个 1Gbit/s 业 务 网 口 用 于 连接 至 业务 网 络 。 


。 每 个 CNEN 可 扩展 1 张 ~~3 张 1G6itys 人 网 卡 ， 最 多 提供 16 个 1Gbit/s 业 务 网 口 用 于 连接 至 
业务 网 络 。 


[| 了 4 


集群 NAS 业 务 网 络 连接 2 S 


业 为 主机 一 一 二 


到 
CNEN 2 接口 模 决 CNEN 1 按 RN 志 
扩展 的 10 GbiV/s 业 务 网 卡 
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每 个 CNEN 可 扩展 1 张 ~~4 张 10Gbit/s 网 未 ， 最 多 提供 8 个 10Gbit/s 业 务 网 口 用 于 连接 人 至 
业务 网 络 。 


当 需 要 扩展 4 张 10Ghbit/s 网 卡 时 ， 其 中 一 张 10Ghbit/s 网 卡 将 侍 换 缺 省 配置 的 1Ghbit/s 网 
Re 
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集群 NAS5| 黎 与 存储 单元 组 网 


CNEN 2 接口 模块 CNEN 1 校 口 模块 


8Gbitis FC 
ps 
华语 守 吕 人 全、e 疆 
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。 直 连 组 网 方式 


90 CNEN 与 UC 可 进行 直 连 ， 或 通过 光纤 交换 机 进行 组 网 。 直 和 连 组 网 时 ， 支 持 的 配 
置 为 : 支持 2 个 一 4 个 CNEN。 


。 支持 1 台 一 4 台 SUC。 
o 直 连 组 网 方式 下 ， 不 支持 在 线 扩展 CNEN、SUC。 
。 交换 组 网 方式 
o CNEN 与 SUC 通 过 光纤 交换 机 组 网 时 ， 支 持 的 配置 为 : 支持 2 个 一 24 个 CNEN。 
0 支持 1 台 ~~1& 台 SNC。 
bo 交换 组 网 方式 下 支持 在 线 扩展 CNEN、SUC。 
。 存储 单元 控制 框 、(SUC) 与 硬盘 框 (SUD) 级 联 组 网 如 下 : 
o 1 台 SUD 与 1 台 SUC 级 联 时 ， 使 用 SUC 两 个 控制 器 上 的 “EXP 0” 端 口 分 别 与 UD 
两 个 级 联 模块 上 的 “PRI” 端 口 连接 ， 组 建 一 个 级 联 环 路 。 
5 2 台 SUD 与 1 台 SUC 级 联 时 ， 使 用 SUC 两 个 控制 器 上 的 “EXP 0” 端口 分 别 与 1 人 台 
SUD 两 个 级 联 模块 上 的 “PRI” 端口 连接 ， 组 建 第 一 个 级 联 环 路 ， 使 用 SUC 两 个 控 
制 器 上 的 “EXP 1 端口 分 别 与 另 1 人 台 SUD 两 个 级 联 模块 上 的 “PR” 端 口 连接 ， 
组 建 第 二 个 级 联 环 路 


126 | 


引擎 和 存储 通过 让 莹 通过 GE 网 


FC 交换 单元 组 网 八 一 ~" 
服务 
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[ 


N8500 支 持 SAN/NAS 一 体 化 组 网 


AN 


N8000 集 群 yp 
光纤 或 iSCSIGE|| NAS 引 敬 节 点 || 光 入 或 ISCSI GE 


FC Netwo EC Network 


| 后 端 存储 单元 | 
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N8500 系 统 的 NAS、SAN 一 体 化 体现 为 从 后 端 单 元 直接 提供 FC 或 SCSI 接 口 ， 提 供 FC- 
SAN 和 IP-SAN 的 组 网 方式 供用 户 业 务 使 用 , 姜 用 32600T、S5500T、S5600T、5S5800T 或 
S6800T 时 ， 由 于 后 端 单元 可 提供 较 多 的 接口 ， 在 提供 N8500 和 集群 节 点 使 用 之 余 ， 其 余 接口 
可 作为 SAN 接 口 使 用 。 


在 N8500 系 统 中 ， 仅 使 用 了 存储 单元 的 部 分 端口 ， 此 外 ， 在 引擎 节点 数量 比较 少 或 使 
用 交换 形态 的 情况 下 ， 可 以 根据 需要 配置 10Cbps iSCSIl 扣 卡 ， 从 而 为 用 户 提供 万 兆 IP 
SAN; 若 用 户 有 SAN 的 需求 满 则 可 以 在 阵列 上 将 未 使 用 的 磁盘 空间 (以 LUN 为 单位 ) 通过 
空 闪 的 FC 端口 或 1SCSIl/10@bps iSCSI 端 口 提供 给 用 户 使 用 ， 达 到 NAS/SAN 一 体 化 的 效果 
， 在 这 种 组 网 下 ， 有 用户 的 具体 网 络 环境 可 能 为 无 域 的 环境 、AD 域 环境 、NIS 域 环境 或 
LDAP 域 环境 等 。 


128 | 


N8500 文件 系统 备份 组 网 《〈 基 于 NBU ) 


NBU Master & 
二 


N8000 集 群 
NAS 系 统 
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使 用 NBU 客 户 端 进行 备份 时 ， 需 要 环境 中 包含 NBU 服 务 器 (包括 Master Server 和 Media 
Server) ， 如 果 使 用 DNS， 则 要 求 DNS 服 务 器 能 对 NBU 服 务 器 进行 正确 解析 ， 网 络 连 授 好 后 
在 N8500 系 统 上 配置 NBU 服 务 器 相关 的 信息 pe Maqster Server 上 进行 备份 策略 
等 配置 后 ， 备 份 即 可 按照 设置 的 策略 正常 进行 ， 数 据 流 从 N85005| 敬 经 Media Server 后 
备份 到 后 端 介 质 ， 无 需 再 进行 干预 
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N8500 文件 系统 备份 组 网 “(基于 NDMP) 


N8000 集 群 
NAS 系 统 
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使 用 NDMP 协 议 进行 备份 时 ， 当 前 版 本 支持 通过 LAN 进 行 备份 的 方式 ， 即 备份 数据 通过 
IP 网 络 进 行 传 输 ， 备 份 采用 的 协议 为 标准 的 NBMP 协 议 。 在 采用 基于 IP 网 络 的 NDMP 备 份 
时 ， 同 样 需要 有 备份 服务 器 (如 NBU)， 由 备份 服务 器 连接 备份 介质 (磁带 库 设备 ) ， 根 
据 备份 软件 的 不 同 ， 可 能 需要 相应 的 选 件 文 持 ， 如 使 用 NBU 时 需要 备份 服务 器 上 安装 有 远 
程 NDMP 选 件 ， 在 进行 备份 时 ，NDMP 探 制 信息 由 备份 服务 器 下 发 到 N8500 系 统 ，N8500 
系统 根据 控制 命令 进行 备份 , ,将 备份 数据 通过 IP 网 络 传送 到 备份 服务 器 的 相关 模块 (如 
NBU 的 Media Server) 再 由 该 模块 号 入 备份 介质 。 
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4. 集群 NAS N8500 存 储 配置 与 管理 
5. 


6. 
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N8500 存 储 管理 软件 介绍 
。 存储 软件 管理 功能 主要 包括 14 个 功能 模块 


技术 文 持 








天 级 及 补丁 管理 > 
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管理 员 功能 : 管理 员 具 有 添加 用 户 、 删 除 用 请 修改 用 户 的 密码 等 功能 。 


己 
集群 管理 : 用 于 管理 集群 ， 其 中 包括 支持 查看 已 有 结 点 的 功能 ; 了 点 的 动态 添加 、 删 


除 ; 节点 目 动 安 沪 等 。 


网 络 配置 : 网 络 配 置 用 于 管理 网 络 配 置 ， 包 含 的 功能 有 IP 的 添加 、 删 除 和 修改 ; 节点 配 
置 的 修改 功能 : online，offline、 路 由 的 添加 、 删 除 ; DNS 配 置 ，NIS、LDAP 的 身份 认 
证 方式 的 启用 或 停 用 等 。 


历史 命令 查询 : 不 同 用 户 查看 的 历史 命令 权限 不 同 。 

NFS 共 享 : 可 提供 文件 系统 的 只 读 、 读 写 等 方式 NFS 共 吝 。 

CIFS 共 享 : 可 提供 交 件 系统 的 只 读 、 读 写 等 方式 CIFy 共 享 。 有 normal 和 homedir 两 种 
方式 ， 其 区 别 主 要 在 于 homedir 共 享 可 对 共享 用 户 设 定 用 户 配额 。 

网 管 功能 :网 管 功 能 提供 事件 的 导出 ， 日 志 查看 及 导出 ，SNMP 协 议 支持 及 邮件 告警 。 
存储 管理 :、 可 进行 存储 池 的 添加 、 删 除 、 重 命名 ; 向 已 有 存储 池 中 添加 和 删除 磁盘 ; 
文件 系统 的 容量 扩展 功能 (包括 增加 和 缩小 ) ; 可 创建 快照 ， 快 照 资 源 的 配额 可 设 定 ; 
可 创建 镜像 ， 镜 像 方式 分 为 mirrored、 mirrored-stripe、simple、striped、 striped- 
mirror 等 ; 镜像 数量 可 设置 。 

系统 管理 : 系统 管理 可 进行 日 期 、 时 间 和 时 区 的 更 改 ， 以 及 配置 文件 的 本 地 或 远程 的 
导出 和 导入 。 

技术 支持 : 该 功能 用 于 系统 信息 搜集 ， 便 于 技术 支持 定位 问题 。 


售 


N8500 存 储 管理 软件 介绍 


。 存储 软件 管理 功能 主要 包括 14 个 功能 模块 


技术 文 持 








| 天 级 及 补丁 管理 > 
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升级 及 补丁 管理 : 支持 系统 在 线 升级 及 打 补 js 

备份 功能 : 支持 NBU Client 内 置 备份 和 和 NDMP 备份 协议 。 

FTP 功 能 : 支持 将 N8000 设 置 为 FTP 服务 器 ， 对 外 提供 FTP 服务 。 

远程 复制 功能 : 支持 将 本 地 N8000 和 里 的 文件 系统 拷贝 到 远程 N8000 上 。 
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N8000 部 署 前 IP 地 址 规划 


。 引擎 物理 IP 规 划 : 


预 留 物理 IP 地 址 数目 = 引擎 节点 数目 “x 单个 引擎 节 氮 业务 网 口 数 目 


。 集群 NAS5| 擎 虚拟 IP 规 划 : 


预 留 虚拟 IP 地 址 数目 = 引擎 节点 数目 |x 单个 引擎 节点 业务 网 口 数目 + 1 


。 存储 单元 控制 框 管理 IF 规划 : 


预 留 |P 地 址 数目 | = | 存储 单元 控制 框 数目 x | 2 


。 以 上 3 类 IP 地 址 段 不 能 重叠 ， 同 时 业务 后 续 扩 容 、 预 留 一 定 IP 地 址 空间 
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。 规划 原则 : 


DD 164 [0 


口 


集群 NAS 引 擎 物理 IP 地 址 段 必须 为 连续 的 IP 地 址 段 ， 数 量 等 于 集群 NAS 引 擎 节点 
用 于 组 建 业务 网 络 的 网 口 


(考虑 扩展 ) 数量 加 上 集群 NAS3| 擎 所 有 管理 网 口 数 量 。 

集群 NAS 引 擎 虚拟 IP 地 址 段 必须 为 连续 的 IP 地 址 段 ， 且 数量 等 于 集群 NAS5| 擎 物 
理 IP 地 址 的 数量 。 

每 套 N8500 只 需 规 划 全 个 引擎 Console IP 地 址 (虚拟 IP 地 址 ) ， 用 于 管理 N8500 
存在 多 人 台 存 储 单元 控制 框 的 情况 下 ， 需 对 每 一 全 存储 单元 控制 框 规划 不 同 的 管理 
网 口 I|P 地 址 。 

集群 NAS 引 擎 节点 物理 |P 地 址 、 集 群 NAS 引 擎 节点 虚拟 IPP 地 址 和 集群 NAS 引 擎 
Censole. IP 地 址 建议 在 同一 网 段 内 ;存储 单元 控制 框 管理 网 口 IP 地 址 必须 与 集群 
NAS 引 警 Console IP 地 址 在 同一 网 段 内 。 


存储 单元 硬盘 框 不 需 配置 IP 地 址 ， 因 此 在 网 络 IP 地 址 规划 时 不 用 考虑 。 


N8500 配 置 前 准备 


。 初始 化 引擎 前 提 条 件 
o 集群 NAS5| 擎 节 扣 已 完成 硬件 安 六 和 和 连 线 
o 集群 NAS 引擎 业务 网 口 已 正确 连接 到 客户 的 业务 网 络 
o 集群 NAS 引擎 心跳 网 口 已 正确 连接 到 心跳 网 络 
o 集群 NAS 引擎 正确 上 电 ， 指 示 灯 状态 显示 正常 
。 倪 始 化 存储 单元 表 提 条件 
o 集群 NAS 引 擎 节点 已 完成 硬件 安装 和 和 连 线 
0 存储 单元 控制 框 2 个 管理 网 口 已 连接 到 客户 的 业务 网 络 
o 存储 单元 控制 框 正确 上 电 ， 指 示 灯 状态 显示 正常 
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。 系统 正常 上 电 顺 序 : 


口 


外 部 电源 通电 〈 此 时 光纤 交换 机 和 存储 单元 硬盘 框 即 上 电 ) ”一 以 六 网 交换 机 依 
次 上 电 (打开 电源 开关 ) 下 存储 单元 控制 框 ( 按 存储 单元 控制 框 前 面板 的 电源 
按钮 ) 一 集群 NAS 引 擎 机 框 依次 上 电 。 


设备 上 电 过 程 需要 大 约 3 分 钟 ~ /7 分钟， 集群 NAS5| 擎 机 框 电源 指示 灯 不 再 持续 
闪烁 时 ， 表 明 局 动 完 成 。 


。 系统 正常 下 电 有 顺序 : 
o 停止 业务 一 /和 集群 NAS 引 | 擎 机 框 依次 下 电 (长 按 集群 NAS5| 擎 机 框 前 面板 的 电源 


按钮 5 秒 ) 全 .存储 单元 控制 框 〈 长 按 存储 单元 控制 框 前 面板 的 电源 按钮 2 秒 ) 一 
存储 单元 硬盘 框 依次 下 电 〈 断 开 电 产 线 ) 一 光纤 交换 机 依次 下 电 ( 断 开 电 源 线 
) 下 以太 网 交换 机 依次 下 电 (关闭 电 产 开 天 ) 一 外 部 电源 断 电 。 
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N8500 和 党 理 组 网 


Maintenance 
terminal 
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如 图 连接 维护 终端 到 管理 网 络 ， 所 有 存储 单元 控制 框 (SUC) 、 和 集群 NAS5 引 | 擎 节 点 人 
CNEN) 的 管理 网 口 和 维护 终端 连接 到 同一 管理 网 络 。 维 护 终端 配置 一 个 与 集群 管理 IP 同 
网 段 的 IP 地 址 。 
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N8500 部 署 流程 


部 署 工具 可 以 帮助 工程 师 、 运 维 工程 师 完 成 对 NA 集群 系统 的 部 署 任务 


用 户 可 以 通过 部 署 问 导 选 择 配 置 文件 、 配 置 存 储 单元 、 配 置 NAs 引 擎 、 配 
置 机 染 位 置 等 步骤 ， 完 成 NAS 一 体 化 系统 部 署 ， 部 署 完 成 后 系统 即 可 正常 
使 用 


确认 组 网 
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。 部 署 中 QA 问题 


口 


口 


Q: 扫描 时 无 法 发 现存 储 单元 和 引擎 

人 A: 开局 工具 使 用 了 自 定义 的 私有 协议 号 发 现 设备 ， 部 分 防火 墙 软 件 会 对 接收 到 的 
这 些 数据 报 进行 屏蔽 ， 请 关闭 防火 墙 后 进行 配置 

Q: 集 群 中 显示 的 节点 少 于 真实 集群 中 的 节点 

A: 可 能 原因 集群 中 部 分 节点 的 管理 网 口 未 连接 到 网 络 或 节点 未 正常 上 电 

Q: 同 一 套 集群 的 两 个 节点 分 别 显 示 在 不 同 集群 下 

人 :集群 节点 间 的 心跳 未 正确 连接 ， 导 致 集群 内 部 无 法 发 现 其 他 节点 

Q: 配 置 时 提示 IP 已 经 被 使 用 

人 :所 配置 的 IP 地 址 在 网 络 中 已 存在 ， 请 更 换 为 其 他 IP 地 址 后 重 试 
:命令 设备 初始 化 失败 

A: 在 初始 化 的 最 后 ， 会 为 系统 创建 带 内 命令 设备 及 系统 日 志 LUN， 此 时 存储 单元 
上 为 系统 日 志保 留 的 磁盘 若 已 经 被 使 用 ， 则 该 配置 失败 ， 请 将 保留 的 磁盘 删除 后 
重 试 

Q: 设 置 NAS 引擎 基本 信息 并 点 击 ” 下 一 步 ” 后， 提示 IP 无 法 连接 

A: 本 机 无 法 与 所 配置 的 物理 IP 连通 ， 请 检查 网 络 配置 后 重 试 

Q: 配 置 设备 位 置 后 并 点 击 ” 下 一 步 ” 后 ， 提 示 位 置信 息 未 配置 完全 


A: 位 置信 息 (如 机 柜 号 ， 位 置 等 } 未 配置 完全 ， 请 正确 配置 所 有 设备 的 位 置信 息 后 
重 斌 
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N8500 部 署 流程 


部 署 工具 可 以 帮助 工程 是 、 运 维 工 程 师 完成 对 NAS 集 群 系统 的 部 署 任务 


用 户 可 以 通过 部 署 癌 导 选择 配置 文件 、 配 置 存储 单元 、 配 置 NA 引擎 、 配 
置 机 染 位 置 等 步骤 ， 完 成 NAS 一 体 化 系统 部 署 ， 部 署 完 成 后 系统 即 可 正常 
使 用 


确认 组 网 
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0 Q: 确 认 进 行 配置 后 初始 化 过 程 无 法 进行 

0 :部署 工具 使 用 系统 默认 用 尸 各 和 密码 登陆 ， 奇 所 配置 的 存储 单元 或 引 何 已 经 被 
切 始 化 且 默 认 密码 已 经 被 修 驳 ， 则 登陆 失败 

0 Q: 部 署 工 具 无 法 正确 运行 

0 人 :请 参考 ”部 署 工 具 安 狂 前 准备 ” ， 检 查 系 统 环境 是 否 满足 要 求 


0D 168 [0 


部 署 工具 环境 要 求 \ 


Windows XP 32bit 
Windows 7 32bit 
Windows 2003 32bit 
支持 操作 系统 Windows 2008 32bit 
Windows 7 64bit 
Windows 2003 64bit 
Windows 2008 64bit 


ET 
系统 空闲 内 存 要 求 400M 以 上 。 


硬盘 空间 所 在 硬盘 分 区 的 剩余 空间 要 求 2G 以 
浏览 器 支持 IEZ.0 以 上 /FireFox4.0 以 上 。 
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部 署 工 具 软 件 包 自 市 JRE，32bit 和 64bit 操 作 系 统 上 都 统一 以 32bit 版 本 的 JRE 来 支持 运 
行 Toolkit。 
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部 署 工具 安装 有 鲁 准 备 


License 文 件 和 部 署 工 具 获取 
JAVA 运用 环境 安装 ， 
设置 维护 终端 的 系统 环境 变量 


Environment Variaoblies Ps 了 列 切 给 化 了 置 
Cy 


坊 /3 中 开 鱼 信 闸 ， 近 置信 各 令 包 ， 


Ci\Documents ord Sotinos\icp\Loceal Se,,,. 


Ci\Documents and Sottings\icp\Local Se.,. 图 阵 列 批量 部 署 
本 认 了 扩 全 种 要 忆 内 位 到 


集群 NAS 存 仿 系 统 部 站 
和 让 妇 和 元 2 天 天光 是， 天 发 久 机 NS 让 妇 和 KK20 一 你 你 卫 本 。 
variable velue: | c:wpr1.6 


统一 存储 部 轩 


1 
Windows De LL Ee | TE 
Cc: \WINDSWS\system32; CWINDOWS;.,. 


[New J][ Ex J][ Petete ] 
bE 素 统 部 负 
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。 部 署 工 具 下 载 地 址 : http://support.huaweh.com/enterprise/softfdownload 
。 JAVA 环境 选择 与 JDK 1.6.0_30 或 以 上 版 本 
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部 嗜 工具 使 用 -确认 组 网 与 向 导 


典型 组 网 


部 署 前 ， 清 确认 胡同 是 否 正确 ， 不 正确 的 让 网 可 能 导致 开局 失败 ; 典型 姐 网 参 等 如 下 ， 
更 多 详细 的 诅 网 场景 请 参 等 开局 指导 书 。 


典型 姐 网 一 典型 姐 网 二 
1 个 集 阁 NAS 引 莹 机 框 ,1 个 S2600T 2 个 集群 NAS 引 芗 机 框 ，2 个 S2600T 


的 存 姥 单元 控制 恰 ， 的 存 诸 单元 近 制 湛 ， 
组 网 田 打开 下载 姐 网 图 打开 下 载 


Y| 绕 确 以 粗 网 正确 
集群 NAS 存 储 系统 部 署 向 导 步 踊 6.1: 


欢迎 启用 集群 NAS 存 储 系统 部 署 


着” 过 择 也 置 文件 本 向 导 通 过 选择 辽 置 文 件 、 卫 置 存储 单元 、 辽 置 集群 NAS 引 苔 、 辽 置 设备 位 置 四 步 心 ， 党 成 集群 NAS 存 侍 尿 统 部 
署 . 


引 配置 存储 单元 注意 


s 部 署 前 , 请 确保 所 有 设备 连 线 已 正确 连接 。 
4 ”也 置 集群 NaS35 冤 m 训 署 前 ， 污 根据 设备 型 号 确认 是 否 需要 导入 Lice 例 e, 如 果 需 要 号 放 先 获 职 License 文件 。 
s 目前 集群 NAS 存 诗 系 妨 部 署 功能 只 支持 V200R003 项 本 设备 。 
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。 在 部 署 工 具 主 界面 中 ， 单 击 “ 集 群 NA 存储 系统 部 署 ”， 进 入 组 网 图 确认 界 
。 在 部 署 工 具 主 界面 ， 点 击 “ 集 群 NAS 存 储 系 统 部 署 ”， 进 入 “欢迎 ” 癌 导 界面 ， 开 始 


集群 NAS 的 部 署 工作 。 


[ 
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部 羊 工具 -选择 配置 文件 


集群 NAS 存 储 系统 部 署 向 导 步 踊 6.2: 选择 配置 文件 


通过 导入 填写 后 的 肛 置 文件 ， 格 其 中 的 肛 置 信息 与 设备 进行 自动 区 BC ; 也 可 以 选送 手动 输入 寻 置 信息 ， 


推荐 使 用 导入 了 配置 文件 方式 。 
选择 配置 文件 


选择 配置 信息 输入 方式 。 请 这 择 信息 输入 方式 
导入 了 配置 文件 


配置 存储 单元 如 果 没 有 配置 文件 ， 请 先 下 载 极 板 ， 填 写 配置 信息 后 导入 。 
选择 
配置 集群 NAS3 引 | 党 


e) 手动 输入 配置 信息 (推荐 ) 
配置 设备 位 置 


启动 部 署 
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。 初始 化 配置 有 两 种 方式 : 


90 导入 配置 文件 ， 请 确保 模板 文件 的 格式 和 配置 信息 正确 。 也 可 以 点 击 “ 下 载 ” 链 
接 ， 下 载 模板 并 填 入 正确 的 配置 信息 


0 如 果 选 择 跳 过 此 步 又， 系统 将 提示 手动 输入 配置 信息 
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部 普 工 具 - 配 置 存储 时 元 


集群 NAS 部 署 向 导 步骤 63: 配置 存储 单元 


欢迎 在 列表 中 选择 需要 配置 的 存储 单元 设备 。 若 设 有 ， 请 确 闪 设备 在 同一 子 网 且 连 接 正 常 后 开始 扫 擅 存 
鱼 单 元 。 并 且 可 以 对 选中 的 存储 单元 进行 修改 。 


2 ”选择 配置 文件 扫描 (9) 修改 (人 


edi 修改 存储 单元 信息 
3 = i SP 
3 hi 设备 类 型 序列 号 控制 器 A ee 
配置 存储 单元 的 基本 信息 2 包括 SIbDUU!] 41IUZj3IGDEEZLUUS 12Y,55.,1UU 
控制 


TF 制 祷 IP ， 闭关 ， 子 民 下 址 。 = 
品 下 ,网关 ， 子 同村 码 地 址 S85600T 210235G6EBZz0B2.， 129.88.100 登录 信息 pS—n 


S6800T whmenclosu00000... 129.88.85.90 


密码 : 和 
引 配置 设备 位 置 S5500T 210235G6GRZ0B2.，129.88.67.94 


S5500T 210235G6GRZ0AC.，129.88.100 、 
设备 信息 
6 ”启动 部 署 S5500T 210235G6GRZ0B2 有 
设备 类 型 : S5500T 
S5500T 210235G6GRZ0B2 
ED 。 
N80001292716100 序列 号 : 210235G6GRZO0B2000@003 
S5500T 210235G6GRZ0BB.，12 控制 | 器 A 
S85500T 210235G6GRZ0B5..，129.88.100 
控制 吕 B: 
S5500T lihongsheng00000 129.88.46.99 
子 网 掩 码 : 


网 关 : 
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在 “配置 存储 单元 ”界面 ， 如 果 列 表 中 没有 相 必 设备， 请 确认 设备 与 管理 终端 在 同一 
子 网 且 连 接 正 党 后 ， 单 击 “ 扫 拉 ” 按 钮 执行 仓储 单元 扫 拉 功能， 然后 可 以 从 同一 子 网 中 获 
取 最 新 存储 单元 设备 的 信息 。 


在 选中 您 要 初始 化 的 存储 单元 后 ,% 如 时 您 发 现 相应 的 存储 单元 信息 不 正确 ， 您 可 以 单 
击 “ 修 改 ， 按 钮 对 选中 的 存储 单元 进 让 行 入 息 修改 。 注意 : 每 次 只 能 修改 一 个 存储 单元 。 


A 2 单 击 “下 一 步 ”; 当 出 现 警 告 对 话 框 后 选择 “确定 ”; 
蕊 如 化 襄 作 后 ， 选中 的 存 能 单元 的 初始 化 状态 有 “失败 ”的 ， 需 要 重新 选择 存储 单元 进 
行 配置 或 不 选 失败 的 存储 单元 。 


[ 
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部 署 工具 -配置 NAs 引 人 擎 


集群 NAS 存 储 系 统 部 署 向 导 步骤 64: 配置 集群 NAS5 引 合 


1 欢迎 请 在 集群 NAS 引 擎 的 节点 列表 中 选择 一 个 节点 作为 管理 节点 ， 它 是 管理 维护 集群 NAS 引 擎 的 唯一 节点 。 如 果 已 
经 配置 过 的 集群 NAS 存 储 系统 则 不 能 更 改 管理 节点 。 


扫描 (S) 
3 配置 存储 单元 名 称 


加 配置 集群 was 了 党 ®) Undefined 
配置 集群 HAS 引擎 的 管理 节点 。 210235G6YF0000000ZJP SlotB 
Silota 

5 配置 设备 位 置 SHdatasyncSr 
210235C6R0Z0BA000004 Sioth 

国 启动 部 轨 210235G6R0Z0BA000004 SilotB 

bzpxe 

210235G6VFZ0C1000LXZ SlotB 


210235G6YFZ0C1000DC Sloth 


suppott 用 户 的 初始 密码 请 联系 华为 技术 支持 获取 。 
登录 用 户 名 : 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 45 2 HUAWEI 





在 “配置 NA3 引 擎 ”界面 ， 如 果 列 表 中 没有 相 必 设备 ， 请 确认 设备 在 同一 子 网 且 连 接 
正常 后 ， 单 击 “ 扫 摘 ” 按 钮 执行 NA 引擎 扫 摘 功能 ， 然 后 可 以 从 同一 子 网 中 获取 最 新 NA 
引擎 设备 的 信息 。 

根据 序列 号 ， 选 中 需要 配置 的 集群 ， 并 选中 其 中 之 一 ， 设 置 成 集群 的 主 节 上 后， 主 节 点 
NA 引擎 Supporl 账 户 / 密 码 默认 为 : SUpport/support@storqge (按照 服务 规范 要 求 保 
证 客户 设备 维护 信息 的 信息 安全 ) 。 
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部 署 工具 -配置 NAs 引 人 擎 


集群 NAS 存 储 系 统 部 署 向 导 沙锅 64， 队 置 集 群 NAS3 引 党 
1 欢迎 请 根 融 集 帮 NAS 引擎 的 节点 数目 , 也 置 起 稿 物理 IP 地 址 ,确保 有 足 名 的 IP 塌 址 进行 分 甩 ; DNS 的 域名 和 服务 
器 IP 地 址 为 可 这 所 置 。 
名 称 N8000 


3 了 配置 存储 单元 
殉 点 数目 


4 国生 


也 置 集 莉 内 3 引擎 的 管理 节点 。 
起 阁 物理 IP 雹 过 


5 孔 置 设备 位 置 起 物 跨 执 IP 地 址 


管理 /|P 地 址 
6 启动 部 署 


ONcx5 Bn 
集群 NAS 基 本 信息 甩 置 成 功 。 


2 ”选择 配置 文件 
3 ”配置 存储 单元 完成 冲 理 节点 的 基本 配置 。 


了 配置 集 阁 了 AS 引 坚 的 管理 节点 。 


NW, HuAwel 
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根据 集群 NA3 引 警 的 节点 IP 地 址 规划 配置 每 个 节点 |P 地 址 : 

0 选择 了 导入 配置 文件 ， 此 处 将 会 自动 显示 出 配置 文件 中 的 中 地 址 的 分 配 配置 信息 
， 此 时 您 也 可 以 对 相关 信息 进 簿 修改 
选择 了 手动 输入 配置 信息 ,= 此 时 您 可 以 手动 对 IP 地 址 进行 分 配 
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部 嗜 工 具 - 导 入 license 


EL 


欢迎 必须 导入 License , 才能 进行 后 续 失 作 ， 请 选择 License 文 件 。 
License 文 件 


2 ”选择 配置 文件 选择 


FAV200R001C00SPC001B013W2R1license .dat 
3 配置 存储 单元 


License 信 息 
RRwassIs 产品 名 称 ; N8000 产品 版 本 : V200R001 
也 置 集群 MAS 引 莹 的 管理 节点 。 设备 序列 号 : ANY 
特性 名 称 授权 类 型 支持 节点 个 米 ”VO 渗 行 截止 日 其 
CIFS DEMO 人 2011-11-30 


5 配置 设备 位 置 


FTP DEMO 2011-11-30 
6 启动 部 署 
NFS DEMO 2011-11-30 
远程 复制 DEMO 2011-11-30 
动态 分 级 存 侯 DEMO 2011-11-30 


重复 数据 船 | DEMO 2011-11-30 
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。 N8500 license 申 请 注意 事项 : 
o N8500 通 过 License 管 理 特性 有 准 CIFS$ 共 享 ，NFS 共 享 ，FTP 服 务 ， 动 态 分 级 存储 
， 文 件 系 统 锐 像 ， 文 件 系统 快 集群 节点 数 


o N8500 和 集群 节点 数 也 受 license 控 制 ， 节 点 扩容 后 需要 重新 申请 license， 比 如 为 2 
节点 集群 申请 的 license 在 系统 扩容 为 4 节点 时 不 适用 ， 需 重新 申请 。 


o N8000 从 V1R2 版 本 升级 到 V2R1 版 本 ， 在 不 需要 扩容 的 情况 下 ， 不 需要 重新 申请 
License 文 件 。 


。 有 关 ESN 


o ESN (Equipment serial number) : 设备 序列 号 ， 是 唯一 标识 设备 的 字符 串 ， 
用 来 保证 将 license 授权 给 指定 设备 的 关键 信息 。 


。 集群 NAs 的 ESN 是 由 各 NA 引擎 每 个 框 的 ESN 以 (ESN1 ，ESN2，ESN3…) 的 形式 组 
合 而 成 站 单个 节点 的 序列 号 不 能 用 于 整个 NSA 产 品 的 llecense 申 请 。 
e 和 每 框 的 SN 位 于 框 正面 的 右 侧 编 码 条 上 ， 由 TYPE 和 S/N 构成 (单个 ESN 共 20 位 ， 全 
部 大 写 ) 
ek 有 关 License 授 权 许 可 证 书 
ba _ License 授权 许可 证 书 随 产 品 发 贷 ， 可 以 用 于 查询 合同 号 、 客 户 PO、 产 品 和 版 本 等 


信 自 
记 /ECGNO 


17/6 | 


部 嗜 工 具 - 导 入 license ， 


集群 NAS 部 署 向 导 步 品 64: 了 配置 NAS 引 说 


1 欢迎 必须 导入 License , 才能 潜行 后 续 徐 作 ,请 选择 License 文 件 。 
License 文 件 


2 选择 也 置 文件 选择 


FAV200R001C00SPC001B013WV2R1license dat 
3 配置 存储 单元 ES 二 


LicenSe 信 息 
RRwassIs 产品 名 称 : N8000 产品 版 本 : V200R001 
也 置 集群 NXS 引 擎 的 管理 节点 。 设备 序列 号 : ANY 
时 性 名 称 授权 类 型 “| 支持 节点 个 涩 [SN 汉 行 规 止 日 基 
CIFS DEMO &011-11-30 


5 配置 设备 位 置 


FTP DEMO 2011-11-30 
6 启动 部 署 
NFS DEMO 2011-11-30 
远程 复制 DEMO 2011-11-30 
动态 分 级 存储 DEMO 2011-11-30 


重复 数据 船 | DEMO 2011-11-30 
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。 有 关 License 申 请 网 站 平台 
o ”ESDP 平 全 的 GTS 权 限 (适用 于 原 入 工程 师 ) 


o 拥有 GTS 权 限 的 用 户 ， 可 以 通过 “授权 激活 ”的 方式 申请 License。 如 果 尚 未 开 
通 GTS 权 限 ， 请 单 击 ESDP 平 人 台 首 页 左 侧 导 航 的 “权限 申请 ”， 进 入 相应 界面 申请 
权限 。 

o ” ESDP 平台 的 ASP 或 Guest 权 限 (适用 于 合作 伙伴 或 最 终 用 户 ) 拥有 ASP 或 GUest 
权限 的 用 户 ， 可 以 通过 “密码 激活 ”的 方式 申请 License 。 请 单 击 平 全 首页 的 
“注册 ”， 填 写 相 关 信 息 成 为 注册 用 户 ， 即 可 自动 获得 权限 。 


。 Licens 申 请 具体 操作 ， 请 参考 N8500 产 品 手册 。 
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部 普 工 具 一 配置 文件 保存 


请 选择 文件 保存 跑 征 


保存 : 入 My Documents 


入 Downloads 
InspectorResult_20111010211933 
BD My ISO Files 

BD My Music 

BD My Pictures 

BD My virtual Machines 

Source Insight 

EB visual Studio 2008 


文件 头 型 : 
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部 署 工具 -- 局 动 部 署 、 


集群 NAS 部 署 向 导 步骤 6.6: 局 动 部 署 
欢 鸳 
正在 执行 带 内 初始 化 ,请 稍 候 .. 
选择 配置 文件 
配置 存 柑 单元 


配置 NAS 引 擎 


配置 设备 位 置 


添加 集群 节点 ， 执 行 带 内 初始 化 。 


配置 文件 已 自动 保存 到 D:123data' 
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在 “启动 部 署 ”界面 中 ， 系 统 开 始 执 行 NAS 引 苟 节 点 的 添加 ， 执 行 NAS 引 擎 节点 的 集群 
加 入 ， 另 外 完成 存储 单元 的 带 内 初始 化 玉 作 。 和 完成 以 后 便 可 以 链接 到 ISM 的 下 载 页 面 ， 并 
且 可 以 保存 配置 成 功 后 的 NAS 和 集群 信息 \。 


Q: 扫 搞 时 无 法 发 现存 储 单 元 和 引擎 


A: 开局 工具 使 用 了 自 定 义 的 私有 协议 号 发 现 设备 ， 部 分 防火 墙 软件 会 对 接收 到 的 这 些 
数据 报 进行 屏蔽 ， 请 关闭 防 必 撕 后 进行 配置 
Q: 集群 中 显示 的 节点 洗 于 真实 集群 中 的 世 点 
A: 集群 中 部 分 万 点 的 管理 网 口 未 连接 到 网 络 或 万 点 未 正常 上 电 
Q: 同一 套 集群 的 两 全 三 扣 分 别 显 示 在 不 同 集群 下 
A: 集群 节 扩 间 的 心跳 未 正确 连接 ， 导 致 集群 内 部 无 法 发 现 其 他 节操 
Q: 是 否 支持 重新 部 署 
A: 条 件 支 持 , /需要 登录 已 部 署 完 成 系统 做 一 些 清除 操作 。 
、 登 录 到 每 一 个 节点 (使 用 SsUpport 帐 户 } 上 面 ， 执 行 以 下 两 个 脚本 
2. /opt/HS/scripts/clean_hs.sh 
3. /opt/VRTISNasgw/scripts/cleanup.sh 
4. 重启 集群 万 点 ， 然 后 重新 执行 开局 工具 进行 部 署 。 
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N8500 初 始 化 配置 过 程 -- 配 置 导 出 


请 选择 文件 保存 路 径 


保存 : 入 ) My Documents 


入 Downloads 

InspectorResult_20111010211933 

岛 My ISO Files 

和 My Music 

ED My Pictures 

BD My Virtual Machines 集群 NAS 部 署 向 导 步骤 6.6。 
入 Source Insight 


入 欢迎 
入 visual Studio 2008 


正在 执行 带 内 初始 化 ， 请 稍 候 
选择 配置 文件 
配置 存储 单元 


文件 类 型 : 


配置 HAS3SI 掌 


配置 设备 位 置 


示 加 集群 节点 ， 热 行 到 内 初始 化 。 


孔 置 文件 已 目 动 保存 妈 DX123USA 
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保存 配置 文件 用 于 将 集群 的 配置 信息 保存 到 维护 终端 上 。 在 “启动 部 署 ” 界 面 中 ， 系 
统 开始 执行 NA 引擎 节点 的 添加 ， 执 行 NA35| 擎 节点 的 集群 加 入 ， 另 外 完成 存储 单元 的 带 
内 初始 化 工作 。 完 成 以 后 便 可 以 链接 到 ISM 的 下 载 页 面 ， 并 且 可 以 保存 配置 成 功 后 的 NAS 
集群 信息 。 
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N8000 基 本 配置 一 一 


。 配置 存储 单元 
。 配置 NAS5| 擎 基础 业务 
Do 检查 License 状 态 
o 检查 集群 状态 
o 配置 文件 系统 检查 集群 状态 
o 配置 NFS$ 或 CIFS 共 享 


检查 License 状 态 


配置 文件 系统 开光 


配置 NFS 或 RLPS 服 务 
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N8000 存 储 单 元 配置 流程 


登录 |SM 图 形 化 网 管 工具 
LUN 相 天 的 配置 
创建 主机 组 o 创建 RAID 组 
o 创建 LUN 
o 格式 化 LUN 
主机 相关 的 配置 
创建 主机 组 
创建 主机 
格式 化 LUN 1 | 添加 映射 





创建 LUN 











Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 


Page 53 (DD HUAVWEI 


。 有 关 和 存储 单元 LUN 的 分 条 深度 : 


o N8500 应 用 于 顺序 |O 为 主 的 业务 时 ， 如 存储 媒体 数据 ， 建 议 设置 较 大 的 分 条 深度 
， 如 128 


0 N8500 应 用 于 随机 IO 为 主 的 业务 时 ， 如 存储 事务 处 理 数据 ， 建 议 设置 较 小 的 分 条 
深度 32 或 64 


。 有 关 存 储 单元 与 NAS 集 群 节点 映射 : 


0 存储 单元 侧 创 建 玉 个 主机 组 对 应 一 个 NAS 集 群 ， 创 建 一 人 台 主 机 对 应 NAS 集 群 中 的 
一 个 太 扩 


0 ”N8000 初 始 化 时 已 在 存储 单元 侧 为 NAS 集 群 创建 了 主机 、 主 机 组 ， 因 此 可 以 重复 
创建 
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N8000 集 群 NAS 业 务 配置 流程 


登录 网 管 
查看 集群 运行 状态 
查看 业务 网 口 
创建 文件 系统 

o 扫 摘 数据 磁盘 
o 创建 存储 池 

o 创建 闫 任 系 统 
创建 共享 文件 系统 


ss 创建 CIFy 共 享 
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。 配置 过 程 注意 事项 : 


口 


集群 中 一 个 贡 氮 作为 一 个 node 人 A\ 有 一 个 WWN 号 ， 每 个 站 氮 通过 WWN 来 进行 区 


分 


添加 启动 器 选择 标识 〔(WWR 号 ) 时 ， 通 过 WWN 号 的 映射 ， 将 引擎 节点 和 存储 间 
元 主机 关联 起 来 

创建 文件 系统 时 ， 不 要 使 朋 包 含 simple,stripped,mirror 关 键 字 为 文件 系统 命 

在 创建 镜像 文件 系统 时 ， 建 议 不 要 在 同一 阵列 做 镜像 

在 创建 文件 系统 时 ， 不 要 使 用 "这 个 特殊 字符 

创建 文件 时 ， 文 件 系统 名 长 度 限制 在 3-12 之 间 

创建 大 于 1T 的 文件 系统 时 ， 选 择 块 大 小 为 8192B 
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N8500 文 件 系统 配置 流程 


1. 与 LUN 相 关 的 
存储 单元 配置 





挂 载 到 本 地 
日 录 mnt1 


A 
‘au 

May 

NFS 以 Mac OS 客户 端 


保 群 NAS 存 储 系 统 
Linux/HP-UNIX/AIX 


池 客 刀 端 
挂 载 到 本 地 
打 至 目录 mnt 
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集群 NAS 存 储 系统 主要 由 集群 NAS 引 | 擎 和 后 端 存储 单元 组 成 ， 存 储 单元 提供 存储 空间 ， 
集群 NAs 引 擎 提供 文件 系统 。 集 群 NA> 仓储 系统 将 文件 系统 置 于 存储 设备 侧 ， 在 
Linux/HP-UX/AIX/Mac O 〇 s 等 操作 系统 环境 中 ， 通 过 NFs 协 议 将 文件 系统 共 宇 给 客户 靖 使 
用 ， 系 统 直 接 处 理 文件 访问 请 求 ， 不 再 户 用 客户 端 资 源 ， 提 供 便捷 、 高 性 能 价格 比 的 文件 
存储 。 
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无 域 环境 下 NFS 共 享 介绍 


NFS 协 议 4 
S|--- do 


BB 


集群 NAS 存 储 系 统 


Binux/HP-UX/AIX 


AT sp py NL 
故人 和 仔 夏 3 和 i 
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集群 NAS 存 储 系 统 作为 服务 器 ， 通 过 NFS 协 议 3 问 客户 端 提供 对 文件 系统 的 共 至 访问 ， 
客户 剖 挂 载 共 圣 文件 系统 到 本 地 ， 用 户 像 访问 本 地 文件 一 样 远程 访问 服务 器 中 的 文件 。 在 
服务 器 侧 通过 设置 客户 端 标 识 ， 确 定 人 允许 访问 该 文件 系统 的 客户 端 信息 。 


[| 186 0 


、 
LDAP 服 务 器 、、 
_、 


集群 NAS 存 储 系 统 


LDAP 域 
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随 看 网 络 应 用 日 益 丰 富 ， 用 户 管 理 越 来 越 复 洒 % 对 于 提供 单一 服务 的 系统 来 说 ， 基 本 
上 都 是 采用 “用 户 名 -密码 ”的 认证 方式 & 网络 中 的 各 种 应 用 对 每 个 用 户 具 有 不 同 的 权限 
， 这 将 导致 每 个 应 用 都 需要 设 定 不 同 的 用 户 名 和 密码 。 对 于 多 个 应 用 系统 ， 用 户 需要 输入 
不 同 的 用 户 名 和 密码 ， 不 仅 繁琐 ， 而 且 不 易 管 理 。LDAP (Lightweight Directory 
Access Protocol) 提供 的 目录 服务 能 够 有 效 解决 此 类 问题 。 


LDAP 是 一 个 开放 的 、 可 扩展 的 网 络 协 议 。 由 于 其 简单 、 安 全 、 优 秀 的 信息 查询 功能 ， 
并 且 支 持 跨 平台 的 数据 访问 昌 LDAP 已 逐渐 成 为 网 络 管理 的 重要 工具 。 基 于 LDAP 的 认证 应 
用 主要 是 实现 一 个 以 目录 汶 核 心 的 用 户 认证 系统 ， 即 LDAP 域 环境 。 在 LDAP 域 环境 中 ， 当 
客户 端的 用 户 需要 访问 应 用 程序 时 ， 客 户 端 将 用 户 名 和 密码 提供 给 [DAP 服 务 器 ，LDAP 服 
务 器 将 其 与 目录 数据 库 中 的 认证 信息 进行 比 对 来 确定 用 户 身份 的 合法 性 。 


在 集群 NA 存储 系统 中 ， 用 户 访问 NF3 共 宇 时 ， 将 通过 LDAP 服 务 器 完成 用 户 身 份 的 认 
证 ， 保 证 文件 系统 数据 可 靠 。 
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| hi 容 户 闹 
Bb 、\ 
集群 NAS 存 储 系 统 a ] 


Linux/HR-UX/AIX 
守 客 甩 端 
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在 一 个 独立 应 用 的 局 域 网 系统 中 ， 如 果 不 同 的 生机 分 别 维 护 各 目的 网 络 信 息 ， 包 括 用 
户 名 、 密 码 、 主 目录 、 组 信息 等 ， 一旦 网 络 信 息 需 要 更 改 ， 将 是 件 非 常 复 杂 的 事情 。NIS 
(Network Information Service) 是 一 种 可 以 集中 管理 系统 数据 库 的 目录 服务 技术 ， 提 
供 了 一 个 网 络 黄页 的 功能 ， 能 够 有 效 解决 此 类 问题 。 

NIS 为 网 络 中 所 有 的 主机 提供 网 络 信 息 。NIS 使 用 客户 端 / 服 务 器 架构 。 如 果 某 个 用 户 的 
用 户 名 以 及 密码 保存 在 了 NIS 服 务 器 中 的 数据 库 中 ，NIS 允 许 此 用 户 在 NIS 客 户 端 上 登录 ， 
并 且 通 过 维护 NIS 服 务 器 中 的 数据 库 ， 可 以 统一 管理 整个 局 域 网 系统 中 的 网 络 信息 。 

在 集群 NAS 存 储 系统 中 , 使 用 NIS 进 行 访问 控制 。 当 用 户 访问 NFS 共 享 时 ， 系 统 会 到 NIS 
服务 器 上 去 寻找 用 户 使 用 的 用 户 名 和 密码 信息 加 以 比 对 ， 以 提供 用 户 访问 检验 ， 保 证 文件 
系统 数据 可 靠 。 
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CIFS 文 件 共享 介绍 ， 


WinmdowWs 窜 上 


圭 » hk Weg 
集群 NAS 存 储 系统 


Windows 窜 
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ClFS 是 一 个 网 络 文 件 共 享 协议 ， 人 允许 Internetglntranet 中 的 Windows 主 机 访问 网 络 中 
的 文件 或 其 他 资源 。N8000 的 CIFS 特 性 使 得 Windows 客 望 端 能 够 识别 并 访问 网 络 中 集群 
NAS 存 储 系 统 提供 的 基肥 资源 ， 客 户 端 用 户 能 够 像 使 用 本 机 一 样 对 保存 在 集群 NA 存储 系 
统 中 的 文件 进行 谈 、 写 、 创 建 等 操作 。 
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CIFS 共 孚 万 陈 与 全 局 模式 


。 N8000 提 供 的 CIFS 文 件 系统 共享 主要 应 用 于 Windows 客 户 端 。 
0 上 共享 方式 分 为 CIFS Normal 和 CIFS Homedir: 
a CIFS normal 共 享 : 如 果 不 用 区 分 限制 访问 共享 目录 的 用 户 ， 可 选择 此 共 亨 
s。 CIFS homedir 共 享 : 如 果 需 要 特定 的 用 户 拥有 单独 的 用 户 目录 ， 限 制 其 他 用 
户 访问 。 
。 全 局 模式 分 为 普通 (Normal) 模式 及 集群 ( Cluster ) 模式 
o 普通 模式 : 一 个 共享 最 终 只 会 在 一 个 节点 上 承载 业务 , (但 餐 腿 端 可 以 通 
过 任何 一 个 VIP 访问 该 共享 ) 。 
o 集群 模式 : 每 个 共享 都 会 在 所 有 节点 上 承载 业务 ,fi 必 模 式 性 能 更 好 。 
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文件 系统 共 孚 配置 流程 


e CIFS Normal 共 至 流程 e CIFS Homedir 共 享 流程 





确认 可 用 License 


创建 CIFS Homedir 
打字 


启用 CIFS 服 务 N 


设 守 HomediR 户 配 D 
i 


访问 续 绢 窒 问 


结 来 
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Q: 如 何 查 看 虚拟 IP 地 址 ? 


A: “全 局 模式 ”为 “普通 ”: 您 可 通过 “所 有 设备 > 集群 NAS 存 储 系统 >NAS 服 务 > 
CIF> 共 享 > 石 侧 操 作 区 选中 需要 查看 的 共 至 名 称 > 下 方 选择 “虚拟 IP 地 址 ”页 签 ” 查 
看 用 于 访问 该 共享 的 虚拟 iP 地址 。 


“全 局 模式 ”为 “集群 ”: 选择 “所 有 设备 > 集群 NAS 存 储 系统 > 设备 信息 ”， 选 中 
集群 NA 存储 系统 的 设备 名 称 s. 单 击 “网 络 管理 ”， 选 择 “IP 地 址 管理 ”， 获 取 在 线 的 
虚拟 IP 地 址 。 任 意 一 个 在 线 的 虚拟 iP 地 址 都 可 以 访问 共 至 空间 。 


Q: 重新 启用 CIFS 服 务 时 需要 输入 的 密码 是 什么 ? 


A: 当 集 群 NA 存储 系统 应 用 于 AD 域 环境 时 ， 重 新 局 用 CIfF3 服 务 需要 输入 已 加 入 AD 域 的 
域 用 户 的 密码 / 


当 集群 NAS 存 社 系 统 应 用 于 无 域 环境 时 ， 重 新 启用 CIFS 服 务 不 需要 输入 密码 。 
Q: 通过 不 筒 的 引擎 IP 地 址 是 否 可 以 同时 读 写 同一 共享 文件 ? 


A: 可 以 同时 读 同一 文件 ， 当 同时 与 同一 文件 时 ， 由 于 集群 有 锁 机 制 ， 只 有 一 个 IP 地 址 能 
够 与 成 功 。 
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CIFS Normal 共 享 中 配置 建议 


Create CIFS Normal Share Modify Options 
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The share name can be a common share name 
Select File Syste containing digits, numbers, underscores, and hyphens 
;orthe share name can be in the format of common 
share nametlP address. 
Name | Te | Capacity | 


fscifs File System 100.00GB 


ltems:9 


fs05 File System 150.00GB 
fs21 File System 100.00GB 


fa27 Filp Svatem 1NN NNGR 


Options 


owner=root. group=root ro; noguest oplocks; no_full_acl. Has Sticky 
BitOwner Permission=readiwrite/execute.Group 
Permission=readhwrite/execute.Public Permission=readhwritelexecute 


Modify 


cane 


Group 


Share Directory. 
RW. 
Guest 
Lock Mode: 
Windows NTFS ACL: 
FS Mode 


Sticky Bit. 


Owner Permission: 


Group Permission: 


Public Permission: 


® noouest 
®) onlocks 


yes 


Jho 
awrite 
Vv) write 
人 write 


©) 


yuest 
moonlock 


(0 fi 


Vv) execute 
Vv execute 


Vv) execute 
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集群 NAS N8500 高 级 特性 及 应 用 
5.1 动态 分 级 存储 DST 
5.2 文件 系统 快照 


5.3 文件 系统 倍 像 
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N8500 动 态 分 级 存储 介绍 


@ 所 :和 和 
o 动态 分 级 存储 (DST, Dynamic Storage Tiering) ， 是 指 根据 制定 的 存储 策略 ， 
将 访问 频率 较 低 的 的 数据 迁移 至 成 本 较 低 的 存储 资源 上 ， 将 经 常 访问 的 重要 信息 
( 即 热点 数据 ) 存放 在 高 性 能 存储 设备 上 。 
o 当 存 放 在 廉价 存储 设备 上 的 数据 访问 热度 升 高 时 ， 数 据 可 目 动迁 移 至 高 性 和 股 备 
上 。 该 迁移 过 程 是 目 动 、 透 明 的 。 
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N8500 动 态 分 级 存储 原理 


。 N8500 文 件 系统 实现 动态 分 级 存储 的 基础 是 多 卷 文件 系 统 
。 多 卷 文件 系统 是 指 单 个 文件 系统 建立 在 一 个 卷 集 上 ， 而 一 个 卷 集 包 含 多 个 卷 
。 不 同 的 卷 可 以 基于 不 同 的 物理 磁盘 


包含 tier1 标 记 的 卷 包含 tier2 标 记 的 卷 


Volume FF Volume E 


Volume_D 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 66 NO HUAWEI 





图 中 表示 了 一 个 N8500 多 卷 文 件 系 统 ， 该 系统 的 卷 集 由 分 别名 为 tier1、tier2 的 放置 级 
别 组 成 。 这 样 的 卷 集 可 用 于 包含 少量 重要 文件 Mtier1)、 大 量 非 活动 的 文件 (tier2) 的 文件 系 
统 。 多 卷 文件 系统 对 于 应 用 程序 是 透明 的 ,该 文件 系统 中 的 所 有 文件 都 是 同一 命名 空间 的 
一 部 分 。 通 过 多 卷 文 件 系 统 ， 可 以 实现 同一 文件 系统 的 文件 ， 可 以 存储 在 不 同 级 别 的 存储 
介质 上 ， 如 : 热点 数据 和 普通 数据 分 别 存 放 在 >3D 盘 和 >ATA 盘 上 。 


AAAMNAVAAN\ 
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N8500 动 态 分 级 存储 实现 策略 


。 从 一 级 存储 到 二 级 存储 的 迁移 策略 

o 所 有 文件 事先 设 定 存放 位 置 在 一 级 存储 上 

o 根据 DT 策略 ， 将 不 满足 要 求 的 文件 从 一 级 存储 迁移 到 二 级 存储 
。 从 二 级 存储 到 一 级 存储 的 迁移 策略 

o 所 有 文件 事先 设 定 存放 位 置 在 二 级 存储 上 

o 根据 DST 策 略 ， 将 不 满足 要 求 的 文件 从 二 级 存储 迁移 到 一 级 存储 
。 从 二 级 存储 目 动 删除 预 设 天 数 内 未 被 访问 的 文件 

o 所 有 文件 事先 设 定 存放 位 置 在 二 级 存储 上 

o 根据 DT 策略 ， 将 在 预 设 天 数 内 未 被 访问 的 文件 从 二 级 存储 删除 。 
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文件 在 指定 时 间 ( 以 天 为 单位 ) 内 没有 被 访问 或 者 修改 ， 文 件 惑 满足 从 一 级 到 二 级 的 迁移 
条 件 。 迁 移动 作 通 过 定时 或 者 手工 执行 策略 执行 。 


文件 在 指定 周期 内 的 平 区 IO 访问 次 数 超过 设 定 的 最 小 国 值 ， 文 件 罗 满足 从 二 级 到 一 级 
的 迁移 条 件 。 迁 移动 作 通 过 定时 或 者 手工 执行 策略 执行 。 文 件 在 指定 周期 内 的 平均 ID 访问 
次 数 锌 称 为 文件 访问 热度 。 操 作 系统 内 核 中 一 个 系统 调用 ( 读 写 ) 被 记 为 一 次 IO 访问 。 


二 级 存储 通常 会 选择 性 价 比较 融 的 磁盘 作为 存储 介质 ， 如 >ATA 磁 盟 。 相 对 的 ， 一 级 存 
储 通 音 创 建 在 性 能 较 高 ， 价 秆 也 相对 昂贵 的 磁盘 上 ， 如 FC 磁 盘 。 


一 级 存储 和 二 级 存储 的 空间 大 小 可 以 设置 为 不 一 样 。 


196 | 


N8500 动 态 分 级 存储 特点 


支持 两 级 存储 
优化 业务 主机 性 能 
减少 总 体 存储 成 本 
LT 人 @O 
数据 迁移 对 应 用 透明 
自动 删除 预 才 和 天数 内 未 
被 访问 的 文 御 
支持 委 动 回迁 二 级 存储 
文件 
犁 撞 手 动 设置 元 数据 信 
息 存 储 位置 


加 加 | 
he 
a el i i | 
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支持 两 级 存储 : N8500 支 持 两 级 不 同类 型 的 存储 。 

优化 业务 主机 性 能 : 热点 数据 从 高 性 能 存储 访问 ， 提 高 系统 性 能 ; 可 设置 热点 访问 策略 
， 根 据 二 级 存储 上 数据 的 访问 热度 , 把 数据 回迁 至 一 级 存储 ， 实 现 性 能 最 优化 。 

减少 总 体 存 储 成 本 : 根据 策略 和 淀 选 文件 ， 将 长 期 不 访问 的 数据 迁移 到 廉价 磁 盟 上 ， 可 综 
合 发 挥 不 同 存储 设备 的 成 本 优势 。 

改善 数据 可 用 性 : 动态 分 级 存储 把 很 少 使 用 的 历史 数据 迁移 至 成 本 较 低 的 存储 资源 中 ， 
避免 了 反复 保存 ， 减 少 了 存储 的 时 间 ; 同时 提高 了 在 线 数 据 的 可 用 性 ， 使 磁盘 的 可 用 空 
间 维 持 在 系统 要 来 的 水 平 丰 。 

数据 迁移 对 应 用 透明 : 基于 信息 生命 周期 管理 策略 (ILM) ， 无须 人 工 干预 。 将 数据 迁 
移 至 另外 的 存储 器 时 ， 应 用 程序 不 需要 改变 ， 使 数据 迁移 对 应 用 透明 。 
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N8500 动 态 分 级 存储 配置 流程 


1. 确 认 license 


2. 配 和 转 分 级 存储 


图 漆 ”| 季 选 也 项 | | 可 选 子 项 
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。 配置 过 程 常 见 问题 FAQ: 

Q: 文件 在 两 级 存储 之 间 反 复 迁移 ? 

A: 检查 迁移 策略 : 文件 同时 满足 两 个 迁移 条 件 。 
Q: 执行 手动 回迁 之 后 的 文件 仍然 在 二 级 存储 上 ? 
人 


: 检查 文件 系统 对 应 的 迁移 时 间 表 : 回迁 动作 执行 时 正好 是 迁移 时 间 表 的 执行 时 间 ， 
回迁 之 后 的 文件 又 被 迁移 到 了 二 级 存储 。 


Q: 迁移 执行 之 后 ， 文 件 只 有 一 部 分 迁移 到 了 二 级 存储 ? 

A: 检查 文件 系统 二 级 存储 空间 : 二 级 存储 空间 已 满 。 
二 级 存储 上 碎片 过 多 。 

Q: 迁移 过 程 中 ，fsppadm 进 程 卢 用 CPU 过 高 ? 


A: 书 ppoadm 进 程 占 用 CPU 情况 与 文件 系统 的 块 大 小 、 文 件 系统 中 的 碎片 情况 以 及 此 
次 需要 迁移 的 文件 个 数 相 天 。 建 议 在 执行 迁移 之 前 对 文件 系统 进行 碎片 整理 ， 并 在 
业务 量 不 大 时 执行 迁移 策略 。 
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创建 二 级 存储 ISM 配 置 


| 图 oceanStor1SM 
系统 (S) 性 能 (P) 事件 {E) 帮助 (H) 
© | 吃 》 故障 统计 : 多 紧急 2 * 
外 所 有 设备 (1) r 件 系统 v 央 照 v 镜 仿 管理 ”分 级 存 鳍 策略 管理 ”配额 答 理 
团 集群 NAS 存 储 系 统 (dust 总 汶 7 朗 存 诸 第 略 管 理 
党 配置 助手 | 他 尘 一 级 运行 状态 
区 系统 配置 
网 NAS 服 务 
凑 SAN 服 务 
图 存 侍 资源 此 辕 导 将 帮助 您 完成 创建 二 级 存储 功能 ， 创 建 过 程 如 站: 
各 文件 采 统 
[8 存储 池 
时 数据 磁盘 
CB LUN 
目 RAID 组 
四 SmartCache 池 详细 信息 快照 镜像 一 级 存储 二 龟 
[外 资源 池 


加 名 称 
全 设备 信息 和 


利用 率 

运行 状 意 
镜像 个 数 
区 享 方式 


要 继续 , 单 击 “ 盾 时 步 ”。 


! 〇 登录 时 间 : 2 201 13-04- 109-57:19 
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1. 在 ISM 主 界面 的 导航 树 上 选择 “集群 NAS 存 储 系统 > 存储 资源 > 文件 系统 - 


2. ”选择 需要 创建 二 级 存储 的 文件 系统 ， 并 在 官 理 窗口 下 方 分 列 单 击 “一 级 存储 和 “二 
级 存储 ”页 签 ， 查 看 当前 文件 系统 的 信息 。 


3. 在 右 侧 操作 区 中 ， 单 击 “ 分 级 存储 策略 管理 > 创建 二 级 存储 ”。 系统 弹出 “创建 二 
级 存储 ”对 话 框 。 


4. 单 击 “ 下 一 步 ”。 系统 弹出 /创建 二 级 存储 步骤 3-1: 设 定 容量 ”对 话 框 。 

5. 设 定 容量 

6. 在 列表 框 中 ， 选 择 存 储 池 〈 如 果 存 储 类 型 为 数据 磁盘 ， 则 选择 数据 磁盘 ) 。 

7 单 击 “下 一 步 ” 人 系统 弹出 “创建 二 级 存储 步骤 3-2: 设 定 布 局 类 型 ”对 话 框 。 
8.， 设 定 布局 类 型 

2 单 击 “ 下 一 步 ”。 系统 弹出 “创建 二 级 存储 步骤 3-3: 信息 汇总 ”对 话 框 。 

10. 单 击 “完成 ”。 系统 弹出 “执行 结果 ”提示 框 ， 等 待 2 分 钟 左右 。 

HI. 单 击 “ 关 闭 ” 完 成 操作 。 


12. 在 文件 系统 列表 中 选择 添加 了 二 级 存储 的 文件 系统 ， 并 在 管理 窗口 下 方 分 别 ” 单 击 “ 
一 级 存储 ”和 “二 级 存储 ”页 签 ， 碍 看 该 文件 系统 二 级 存储 是 否 诺 加 成 功 
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200 


创建 分 级 存储 策略 ISM 配 置 


较 OceanStor ISM 
系统 (S) 性 能 从 ) 事件 伍 ) 帮助 (H) 


1- 芭 3 
人 所 存储 策略 管理 


分 级 存储 策略 用 于 管理 一 级 存 售 和 二 级 存储 上 的 文件 。 
选中 数 :1 
文件 系统 名 称 | ”容量 利用 率 布局 类 型 | ES 
100.00MB La 3.00GB 4.0% 简单 
50.00MB 
5.00GB 


1.00GB 


删除 策略 和 时 冯 表 仙 | 风 执 行 策 史 (U) 


时 间 表 
详细 信息 ”快照 ”镜像 ”一 级 存储 ”二 


定时 :每 周 六 10:00 
名 称 
利用 字 
运行 状态 , 分 级 存储 策略 
镇 协 个 站 
初始 存储 级 别 。 一 级 存储 
共享 方式 
天 数 : 3 
景 小 访问 热度 : 20 


周期 (天 ) 7 


登录 时 间 : 2013-04-11 09-57-19 
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. 在 ISM 主 界面 的 导航 树 上 选择 “集群 NAS 存 储 系统 > 存储 资源 > 文件 系统 ”。 在 右 侧 


操作 区 选择 需要 配置 分 级 存储 策略 的 奖 件 系统 。 


. 在 石 侧 操 作 区 单 击 “分 级 存储 策 分 级 存储 策略 常理 。 系统 弹出 “分 级 存储 策略 


管理 对 话 框 o 


. 在 “分 级 存储 策略 ”区 域 框 趾 ， 单 击 “ 修 改 ”。 系统 弹出 “修改 策略 ”对 话 框 ， 修 改 


当前 文件 系统 的 策略 


. 设置 策略 执行 时 间 表 。 人 在 W 分 级 存储 管理 ”对 话 框 ， 单 击 “ 时 间 表 ”区域 框 中 的 “ 创 


建 ”。 系统 弹出 《创建 时 间 表 ”对 话 框 。 


. 执行 分 级 存储 策略 。 有 两 种 方法 可 以 实现 ， 第 一 种 是 根据 执行 时 间 表 目 动 执 行 ; 第 二 


ae 如 果 选 择 手动 执行 策略 ， 在 “分 级 存储 管理 ”对 话 框 中 ， 单 击 “ 
执行 策略 ”运行 完成 后 ， 查 看 一 级 和 二 级 存储 中 的 文件 是 否 发 生 了 迁移 。 


集群 NAS N8500 高 级 特性 及 应 用 
5.1 动态 分 级 存储 DST 


5.3 文件 系统 镜像 
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N8500 文 件 系统 快照 的 定义 


e。 定义 : 
文件 系统 快照 是 文件 系统 的 即时 点 精确 映像 
文件 系统 快照 为 文件 系统 提供 备份 机 制 
文件 系统 快照 是 与 文件 系统 完全 一 致 的 视图 
存储 检查 点 (Checkpoint) 是 文件 系统 管理 和 控制 的 对 象 
N8500 文 件 系统 快照 是 基于 存储 检查 点 《Checkpoint) 的 快照 
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。 N8500 文 件 系统 快照 是 NAS 服 务 中 的 增值 功能 
1. 文件 系统 快照 是 在 东 一 时 刻 生成 的 文件 系统 即时 映像 ， 可 以 对 文件 系统 提供 
备份 机 制 。 
2. 快照 与 生成 快照 时 刻 的 文件 系统 是 完全 一 致 的 视图 。 在 生成 快照 之 后 ， 即 使 
文件 系统 发 生 了 改变 , 啦 照 仍然 你 持原 有 的 数据 。 


3. 存储 检查 点 相当 于 是 二 系列 指向 文件 数据 块 的 指针 ， 可 以 快速 创建 ， 占 用 少 
量 的 存储 空间 。 

4. N8500 的 文 伴 系统 快照 是 基于 存储 检查 点 的 快照 ， 因 此 ， 具 有 存储 检查 点 的 
特性 。 
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文件 系统 快照 原理 


。 首次 创建 文件 系统 快照 I 
o 包含 指向 文件 系统 的 块 映 射 
。 块 映射 指向 文件 系统 上 的 数据 
o 逻辑 上 与 文件 系统 相同 

。 数据 块 首次 更 新 
0 找 贝 原 数据 块 到 快照 预 留 区 
o 将 快照 中 的 块 映 射 指 回 快 照 预 

留 区 数据 块 

。 数据 块 后 续 更 新 

o 直接 写 入 数据 块 


文 
件 
系 
统 
数 
据 
区 


风 梧 湖 池 神 
/一 一 一 一 
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。 N8500 文 件 系统 快照 原理 解 分 为 三 个 场景 理解 : 
1、 首 次 创建 文件 系统 快照 : 
。 创建 存储 检查 点 ， 生 成 指 同 文件 系统 数据 块 的 块 映射 。 


= 完成 快 照 的 创建 后 ， 读 取 快 照 时 将 通过 块 映射 直接 获取 文件 系统 里 面 的 数据 块 。 
因此 ， 快 照 与 文件 系统 逻辑 在 是 相同 的 。 


2、 文 件 系 统 数 据 块 站 次 更 新 : 


" 文件 系统 数据 块 需要 更 新 时 ， 为 了 保证 读 取 快照 的 时 候 ， 仍 然 访问 到 之 醒 的 数据 ， 
需要 进行 以 个 步骤 。 


" 拷贝 需要 更 改 的 数据 块 的 原 数据 到 快照 预 留 区 
" 取消 原 有 块 映射 ， 并 生成 新 的 指 问 快 照 预 留 区 的 块 映射 。 
" 更 改 数据 块 

3、 文 件 系 统 数据 块 后 续 更 新 : 


" ”如 果 需 要 再 次 修改 数据 块 ， 如 图 例 中 的 数据 块 B ， 只 需要 直接 将 新 数据 写 入 即 可 。 
这 样 的 机 制 税 称 为 Copy on Write ( 写 时 复制 ) 。 
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文件 系统 快照 特 操 


。 特 所 : 
。 快照 与 文件 系统 共享 空闲 空间 ， 节 约 存储 资源 
o 文件 系统 快照 提供 可 读 可 写 ， 可 以 独立 于 文件 系统 而 存在 。 
。 对 于 一 个 文件 系统 可 以 创建 多 个 快照 支持 对 快照 进行 快照 。 _ 人 人 
N8500 快 昭 个 入 


A \ Hs 
局 
(| ji 
Bh 
»、 £4 
sw 
人 “ne 
< = 
、 | 
、 A 
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N8500 使 用 的 基于 存储 检查 点 的 快照 特点 如 下 : 

o N8500 快 照 与 文件 系统 共享 空 闪 空间 ， 无 需 像 其 他 快照 一 样 需要 为 快照 分 配 独 立 的 
存储 空间 ， 最 小 化 对 磁盘 空间 的 使 用 。 

o N8500 快 照 不 仅 向 其 他 快照 一 样 提供 只 读 访 问 ， 还 可 提供 写 访问 。 在 N8500 应 用 中 
， 能 够 让 当 作 单 独 的 空间 共 圣 出 去 ， 为 客户 端 使 用 。 此 外 ， 与 其 他 快照 不 同 的 是 ， 
N8500 快 照 不 是 完全 依赖 于 文件 系统 ， 当 文件 系统 unmount 后 ， 仍 然 可 以 被 访问 。 

0 对 同一 个 文件 系统 可 以 创建 多 个 快照 。 通 过 识别 和 维护 自 上 次 更 改 存储 检查 点 或 备 


份 以 来 ， 使 用 与 入 时 复制 技术 更 改 的 文件 系统 块 ， 存 储 检 查 点 可 极 大 减少 I/ 〇 开销 
。 有 多 个 只 读 和 存储 检查 把 ， 可 减少 MO 操作 和 所 需 存 储 空间 ， 因 为 最 新 存储 检查 点 


是 仅 来 目 主 文件 系统 的 累计 更 新 。 


文件 系统 快照 实现 机 制 


[| 了 席 疝 文件 系 纲 
[ 硫 癌 ELEIO | 
操作 ”| 
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。 为 了 实现 N8500 快 照 的 实现 过 程 ， 主 要 分 三 个 步骤 : 
1、 冻 结 挂 载 的 存储 系统 
a 目的 : 临时 阻止 对 文件 系统 的 | 多 操作 ， 保 证 创建 的 存储 检查 点 创建 完成 后 保持 与 
文件 系统 的 一 致 性 。 
”操作 步骤 : 1) 将 文件 系统 置 入 稳定 状态 ; 2) 将 内 存 中 的 数据 写 入 磁盘 ; 3) 瞬 


间 阻 止 IO 操作 
2、 初 始 化 存储 检查 所 
" 目的 : 完成 存储 检查 点 的 创建 ， 并 保证 该 存储 检查 点 是 指 问 文件 系统 的 。 


" 操作 步 又、、1) 创建 存储 检查 点 ; 2) 指 回 文 件 系统 块 映射 
3、 解 水 文件 系统 

" 目的 : 是 文件 系统 在 完成 快照 创建 后 ， 人 允许 IO 操 作 。 

" 操作 步 又: 重 局 对 文件 系统 的 IO 操 作 


。 注意 事项 : 基于 存储 检查 点 的 快照 时 间 比 较 短 ， 一 般 几 分 钟 ， 具 体 时 间 取 决 于 文 
件 系 统 中 文件 的 数量 多 少 。 
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文件 系统 快照 分 类 


需要 手动 指定 文件 系统 

可 以 在 任意 时 刻 创建 快照 

可 以 为 手动 快照 命名 

创建 完成 的 快照 状态 默认 显示 为 


“Online” 











需要 根据 定时 策略 创建 快照 
可 手动 指定 自动 快照 的 数目 ， 每 个 文件 
系统 最 多 不 超过 128 个 AN 
oe 
eben 


i 3 
创建 完成 后 默认 状态 显示 Sefhine" 














每 个 文件 系统 的 手动 快照 与 自动 快照 eee see 
状态 处 于 “Online” 的 快照 文件 系统 一 样 馈 共 享 出 去 
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快照 配置 


。 配置 前 提 : 
.N8500 系 统 中 已 创建 一 个 或 多 个 文件 系统 。 
需要 创建 快照 的 文件 系统 剩余 空间 充足 。 
当前 文件 系统 已 有 快照 ， 但 快照 容量 未 达到 快照 配额 限制 。 
.需要 创建 快照 的 文件 系统 快照 数目 未 达到 限额 。 
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。 文件 系统 快照 配置 前 提 : 
0 快照 是 基于 文件 系统 的 ， 在 创建 快照 时 必须 指定 创建 哪个 文件 系统 的 快照 。 因 此 ， 
文件 系统 的 创建 是 快照 创建 的 前 提 。 
0 N8500 快 照 与 文件 系统 共用 空间 ,。 因此 需要 创建 快照 的 文件 系统 必须 有 保留 有 存储 
快照 的 空间 。 
no_N8o500 提 供 快照 配额 管理 ， 可 手动 设置 快照 所 占用 的 存储 空间 。 如 果 超 过 快照 配额 
， 创 建 快照 将 不 会 成 功 。 


。 N8500 单 个 文件 系统 的 快照 最 大 数量 为 512 个 ， 单 个 文件 系统 的 定时 快照 最 大 数量 为 
128 个 。 
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快照 本 C 置 流程 


A 


和 信用 空位， 
| 乔 要 将 快照 进行 共 、\ 
腊 ， 执行 此 操作 。， 
各 用 顶 昭 枯 吾 文件 系 肖 要 使 用 羽球 志和 外 ”4 
,快照 
统 源 文件 系统 有 ‘© 
可 选 子 项 
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N8500 产 品 手动 快照 ISM 配 置 


[Ny OceanStor ISM 


System Performance Event Heip 


> ") Fault Statistics: 允 Critical Oo Major 9 Warning 3 


团员 Devices(1) File System Share Y Snapshot Mirror Storage Tiering Y 


团 clustered NAS Storage 
ES Assistant 
区 \ Settings File System: lt fs 
Fee] NAS Services 
凑 SAN Services 


Manage Snapshot 


Snapshots Schedule Policy 


3 Storage Resources ltems:0 Selected:0 
Te 
| | EEC | 
Dé File Storage Pol 
冰 Data Disks 
3 LUNS 
3 Block Storage P 
SmartCache 
GB Resource Pools Create Snapshot 


二 
Inf 
Ll Douce no File System 


Mirror Snapshot Name 
irro 





Stripe Removable 
Storag 


> Close Help 


EECa | 
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。 文件 系统 -》 快 照 -》 快 照常 理 -》 创 建 


209 0 
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N8500 产 品目 动 快 照 ISM 配 置 


a Fle System 。 Share > paneer 


团 Clustered NAS Storao eC 
上 Assistant 
EE Settings 
筑 NAS services Snapshots 
凑 SAN Services 


图 storage Resources 


File System: lt fs 


Schedule 
Schedule Name 


UBé File Storage Po Max Snapshots 
oo 

车 Data Disks 生生 

kB LUNS 


- reate 
GB Block storageF 
习 Sm 
加 hy Periodic Snapshots 
BGé Resource Pool4 


ltems-:0 Selected-0 
[入 Device Info 


Snapshot N... | Used Capa... weekiy Task 
VMon. [vjTue. [ed 原 ~) TH Fri 


vv Sat vi Sun 


Time Point 
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文件 系统 -快照 -快照 管理 -定时 策略 -创建 


创建 快照 时 文件 系统 的 IC 会 被 冻结 ， 故 所 有 业务 会 中 断 。 建 议 在 业务 量 小 或 者 无 业务 
时 进行 快照 创建 。 


快照 依赖 于 文件 系统 而 存在 ， 文 件 系统 删除 的 同时 ， 快 照 也 被 删除 。 


ANNA 


集群 NAS N8500 高 级 特性 及 应 用 
5.1 动态 分 级 存储 DST 
5.2 文件 系统 快照 


93.3 文 件 系统 镜像 
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N8500 文 件 系统 镜像 介绍 


四 me 
o 文件 系统 镜像 ， 是 在 两 个 或 多 个 磁盘 或 磁盘 子 系统 上 产生 同一 个 文件 系 
统 镜像 视图 的 信息 存储 过 程 。 
o N8500 支持 多 重 镜像 ， 多 里 错 像 是 指 一 个 文件 系统 拥有 不 止 一 人 党 像 ， 
从 而 增强 了 数据 的 可 靠 性 。 


o N8500 对 于 单个 文件 系统 最 多 文 持 3 个 镜像 。 


文件 系统 镜像 Es 
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文件 系统 镜像 原理 1 N 


。 VXVM 实 现 机 制 


一 diskO1-01 diskO1-01 

IS = 5 3 
| ee 
diskO1-02 | disk01-02 disk01-02 


osozo 关 omo0 请 [wonN 


~、 
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文件 系统 镜像 的 实现 方式 是 基于 文件 系统 使 用 的 存储 资源 是 经 过 多 层 虚 拟 化 的 。 


口 


物理 磁盘 : 物理 磁盘 是 基本 的 存储 设备 ' (介质 ) ， 即 最 终 存 储 数据 的 地 方 。 如 : 
qdevname 1 
虚拟 磁盘 : 虚拟 磁盘 是 基于 同一 个 物理 磁盘 虚拟 出 来 的 逻辑 单元 。 如 : diskO 1 


子 磁盘 : 子 磁盘 是 一 组 连续 的 磁盘 块 。 块 是 磁盘 上 的 空间 单元 。N8500 集 群 NAs 软 
件 存储 资源 管理 使 用 子 磁盘 分 配 磁盘 空间 。 一 个 虚拟 磁盘 可 以 分 成 一 个 或 多 个 虚拟 
子 磁盘 。 如 : disk01-0 旬 disk01-02 


Plex: ”N8500 集 群 NAS 软 件 存 储 资源 管理 使 用 子 磁盘 构建 称 为 plex 的 虚拟 对 象 。 
Plex 由 位 于 一 个 或 务 个 物理 磁盘 上 的 一 个 或 多 个 子 磁 盈 组 成 。 

卷 : 卷 是 地 种 虚拟 的 磁盘 设备 ， 丈 应 用 程序 、 数 据 库 和 文件 系统 而 言 ， 叱 与 物理 磁 
盘 设 备 很 相似 ， 但 没有 物理 磁盘 设备 的 物理 局 限 性 。 卷 由 一 个 或 多 个 plex 组 成 ， 
个 plex 都 包含 卷 中 所 选 数据 的 一 个 副本 。 
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N8500 产 品 文件 系统 镜像 分 类 


。 N8500 文 件 系 统 支 持 本 地 镜像 

。 N8500 文 件 系统 支持 阵列 间 和 镜像 

。 N8500 文 件 系统 支持 多 种 镜像 布局 
0 镜像 (Mirror) 文件 系统 
0 镜像 分 条 (Striped-mirror) RAID 10 文 件 系统 
0 分 条 镜像 (Mirrored-stripe) RAID 01 文 件 系统 
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镜像 分 条 (Striped-Mirror) RAID 10， 在 镜像 的 基础 上 进行 条 带 化 ， 兼 有 条 带 化 和 镜像 


的 双重 优点 ， 即 在 利用 镜像 提供 数据 元 余 的 同时 可 以 跨 多 个 磁盘 分 布 数据 。 
分 条 镜像 (Mirrored-Sstripe ) RAID 04 ， 在 条 带 化 的 基础 上 进行 镜像 ， 兼 有 条 带 化 和 镜 
像 的 双重 优点 ， 即 在 用 镜像 提供 数据 宛 余 的 同时 可 以 跨 多 个 磁盘 分 布 数据 。 
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N8500 产 品 镜像 文件 系统 NS 


。 N8500 文 件 系 统 支 持 镜像 以 及 镜像 分 条 等 多 种 数据 保护 的 布局 方式 。 
。 文件 系统 镜像 (mirror RAID1) 布局 方式 


虚拟 磁盘 虚拟 子 磁盘 镜像 plex 数据 伏 人 


ac data2 data3 


re | 
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如 果 文件 系统 选择 镜像 布局 ， 则 可 以 看 到 一 从 Plex 中 包括 至 少 2 个 镜像 ， 每 个 镜像 包 合 
分 属 不 同 虚拟 磁 盟 的 子 磁 盟 。 当 数据 块 写 入 时 ,同时 写 入 两 个 镜像 ， 从 而 最 终 同时 写 入 两 
个 不 同 的 物理 磁盘 。 


文件 系统 在 写 入 数据 时 ，N8o500 将 数据 同时 与 入 到 多 套 阵 列 的 磁盘 中 ， 而 且 写 入 内 容 完 
全 一 致 ， 这 等 于 彼此 备份 。 当 其 中 一 套 阵 列 的 数据 出 现 故 障 时 ， 可 以 马上 从 另 一 个 阵列 中 
进行 恢复 。 注 意 ， 这 两 份 数据 并 不 是 主 从 关系 ， 而 是 相互 镜像 /恢复 的 。 
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席 像 分 条 文件 系统 


。 镜像 分 条 文件 系统 (Striped-mirror RAID10) 布局 方式 


Mirrored Volume 


Mirror 





XY、 
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N8500 文 件 系统 支持 在 条 带 的 基础 上 实现 镜像 。/ 镜像 分 条 布局 兼 有 条 带 化 和 镜像 的 双重 
优点 ， 即 在 利用 镜像 提供 数据 郊 余 的 同时 可 以 跨 多 个 磁盘 分 布 数据 。 它 可 以 增强 元 余 并 缩 
短 磁 盘 发 生 故 障 后 的 恢复 时 间 。 

从 图 中 可 以 看 出 ， 镜 像 分 条 布局 在 底层 先进 行 了 镜像 布局 ， 然 后 再 外 层 进行 了 分 条 布局 
。 当 底层 镜像 卷 中 的 某 个 column 的 镜像 失效 时 ， 如 Column1 的 一 个 镜像 失效 ， 那 么 只 
Column1 的 镜像 被 人 破坏， 其 他 Column 仍 然 有 独立 的 镜像 。 从 整个 Striped-mirror 
Volume 仍 然 是 部 分 元 余 的 手数 据 可 靠 性 得 到 了 保证 。 
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N8500 文 件 系统 镜像 配置 准备 


。 阵列 间 镜 像 配 置 前 提 : 
0 准备 至 少 两 套 存储 单元 。 
存储 单元 中 的 磁盘 类 型 建议 力 相 同类 型 ， 如 3ATA，SAS 或 FC 盘 。 
两 套 存 储 单元 建议 配置 成 相同 的 布局 ， 比 如 配置 相同 数目 的 RAID 组 人 


每 个 RAAID 组 下 有 相同 数目 的 LUN， 每 个 LUN 的 大 小 与 另 一 套 阵列 坟 致 。 


建议 将 两 套 存储 单元 映射 到 引擎 的 LUN 划 分 到 不 同 的 存储 池 中 ,便于 
管理 和 文件 系统 创建 时 选择 不 同 来 源 的 存储 资源 。 
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倍 像 配置 流程 


需要 将 增加 镜像 的 
共享 文件 系统 文件 系统 进行 共 
享 ， 执 行 此 操作 。 


结束 图 注 ; 可 小 皖 项 
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。 N8500 文 件 系统 说 像 的 配置 过 程 包括 : 
0 配置 存储 单元 1: 为 创建 文件 系统 提供 存储 资产 。 


o 配置 存储 单元 2: 与 配置 第 一 套 存储 单元 的 步骤 基本 相同 ， 只 是 在 LUN 相 天 配置 中 
， 无 需 为 IO fencing 功 能 创建 对 应 的 仲裁 量 。 因 为 仲裁 盟 只 需要 在 第 一 套 存储 单 
元 中 创建 了 即 可 。 


0 创建 文件 系统 镜像 时 可 纳 选 择 创建 简 像 文件 系统 也 可 以 选择 创建 简 像 分 条 文件 系 
统 。 其 中 创建 存储 池 和 创建 文件 系统 是 天 键 步 又。 


。 在 创建 存储 池 时 ， 尽 量 将 不 同 的 阵列 的 LUN 划 分 到 不 同 的 存储 闻 ; 


" 创建 镜像 文件 系统 ， 需 要 选择 与 倍 像 个 数 相同 或 者 大 于 镜像 个 数 的 数据 磁 
熏 。 选择 的 数据 磁盘 需要 来 产 于 不 同 的 存储 单元 。 


。、 创建 镜像 分 条 文件 系统 : 同样 需要 选择 不 同 阵列 中 的 磁盘 作为 文件 系统 的 
谤 像 。 
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文件 系统 镜像 配置 


外 剂 Devices(1) 
团 clustered NAS Storage 图 nems 


935.92GB 935.92GB 
181TB 181TB 


255.90GB 255.90GB 
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。 文件 系统 镜像 配置 FAQ: 


> OF0O0PF LO 


添加 镜像 时 选择 与 当前 文件 系统 大 小 相同 的 POOl， 为 什么 提示 空间 不 足 ? 
为 了 实现 快速 重 同步 ， 在 添加 镜像 时 会 创建 DCO 卷 ，DCO 卷 需要 额外 的 空间 。 
如 何 完 成 镜像 同步 ? 

maqster 用 户 ssh 登 录 集 群 控制 谷 IP， 执 行 命令 storgqge fs resync。 


N8000 卷 镜像 功能 是 同步 方式 还 是 异步 方式 3 


N8000 的 卷 宰 像 功 能 是 同步 方式 ， 通 俗 理解 为 对 文件 系统 做 Raid1， 实 现 镜 像 保 护 
。 这 种 保护 有 两 种 廊 式 : 一 种 是 阵列 间 进 行 疮 镜像 〈 阵 列 级 别 的 保护 ， 一 人 台 阵 列 故 
障 时 ， 业 务 不 受 影响 ) ， 一 种 是 阵列 内 进行 卷 镜 像 〈raid 级 别 的 保护 ， 一 个 Raid 组 
故障 时 ,业务 不 受 影 响 ) 。 


i 
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.集群 NAS 应 用 方案 
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示 国 际 尹 体 内 容 生 产 系 统 


收录 系统 非 编 系统 


~ 


- 
Pd Es 

2 、 

‘ - 9 

i 1 

ITTOT . 

所 《“、 
Se -~ 和 


yh 


。 解决 方案 特点 : 
oO 2 节点 N8500 人 和 集群 NAS 系 统 
o 数据 本 地 镜像 功能 
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。 客户 价值 : 


口 


口 


口 


集中 存储 ， 解 决 全 台 网 高 标清 制 六 编 、 播 、 存 、 管 等 部 门 分 散 存 储 难 题 
提供 高 读 与 市 宽 ， 满 足 30 个 工作 站 同时 工作 

NAs 引 擎 并 发 工作 ， 性 能 比 原 系统 提高 了 2 倍 ， 满 足 高 清 视频 的 性 能 需求 
数据 镜像 功能 为 天 键 数 据 提供 实时 保护 

业务 持续 增长 ， 满 足 性 能 和 容量 的 在 线 扩展 需求 
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示 大 学 统一 存储 系统 
教学 系统 ” 图 书馆 ”视频 点 播 


数据 库 服务 器 ne 服务 器 ”服务 器 。 服务 器 


4 节点 N8500，160T 容 量 
统一 存储 ， 同 时 提供 FC-SAN、IP-SAN、NAS 应 用 
备份 数据 流 从 N8000 集 中 备份 到 存储 介质 
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N8500 对 客户 的 价值 包括 : 
。 通过 数据 统一 存储 ， 降 低 系 统管 理 、 维 护 、 运 营 成 本 


SAN/NAS 一 体 化 方案 ， 既 能 提供 块 级 的 数据 存储 ， 也 能 提供 文件 级 数据 存储 ， 所 有 业 
务 系统 数据 统一 存放 到 N8000 存 储 系统 上 实现 存储 数据 的 集中 存放 ， 集 中 管理 ， 满 足 结 
构 化 / 非 结构 化 数据 的 存储 需求 。 俯 前 各 业务 系统 独立 建设 时 ， 既 要 建立 生产 系统 ， 还 需 
要 建设 各 自 的 备份 系统 ， 造 成 资源 的 浪费 。 现 在 采用 集中 建设 生产 系统 、 备 份 系统 ， 有 效 
的 降低 系统 建设 管理 、 维 护 成 本 。 
。 很 好 满足 了 数字 校园 各 业 私 系 统 的 SLA (服务 等 级 协议 ) 承诺 

一 般 情况 下 ， 学 校 各 部 门 是 系统 的 使 用 方 ，IT 中 心 负责 对 各 业务 系统 进行 运 维和 管理 
应 用 部 门 都 会 对 WT 部 门 提出 要 求 ， 如 今年 业务 系统 A 宕 机 时 间 不 能 超过 一 小 时 ， 影 响 范围 
不 能 超过 500 人 八 关键 性 数据 不 能 有 任何 丢失 ， 系 统 B 宕 机 时 间 不 能 超过 2 小 时 ， 可 以 接受 
数据 少量 丢失 等 。 通 过 N8000 集 群 存储 系统 对 价值 数据 提供 了 高 可 靠 的 存储 、 并 对 关键 数 
据 提 供 备 价 / 容 灾 保 护 ， 竞 现 了 各 业务 系统 的 SLA 承 诺 。 
。 通过 数据 的 生命 周期 管理 ， 降 低 了 系统 建设 成 本 


通过 DT 技术 ， 可 以 将 资产 集中 用 于 热点 价值 数据 的 处 理 ， 降 低 了 系统 整体 建设 成 本 。 
按照 热点 数据 和 非 热 点 数据 2: 8 比例 ， 同 等 容量 下 使 用 高 性 能 盘 的 系统 建设 成 本 是 使 用 动 


态 分 级 存储 技术 系统 的 建设 成 本 的 3-4 倍 。 实 现存 储 资源 的 动态 调配 ， 灵 活 满足 各 业务 系 
统 动 态 的 存储 需求 。 比 如 当 使 用 FC-SAN 的 块 存储 设备 容量 不 够 时 ， 可 以 将 NAS 的 空闲 存 
储 容量 调配 过 去 ， 相 反 ，NAS 设 备 容量 不 足 时 ， 也 可 将 多 余 的 块 存储 容量 调配 过 来 。 
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用 大 学 统一 存储 系统 


数据 库 服 务 器 电子 邮件 服务 器 


ee 


-IP-SAN ， 


教学 系统 ” 图 书馆 ”视频 点 播 
服务 器 。 服务 器 。 服务 器 


NBU 备 份 
多 ”服务 器 


RF 各 份 
RS 人 所 


o 4 节点 N8500，160T 容 量 
o 统一 存储 ， 同 时 提供 FC-SAN、IP-SAN、NAS 应 用 
o 备份 数据 流 从 N8000 集 中 备份 到 存储 介质 
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。 适应 了 学 校 教 学 和 业务 未 来 高 速 增长 的 要 求 





满足 未 来 "一 10 年 ， 信 息 量 持续 增长 的 扩容 的 需求 ， 同 时 满足 校园 终端 和 主机 客户 数量 
未 来 持续 增长 导致 的 存储 性 能 扩展 需求 & 即 性 能 出 现 瓶 颈 的 时 候 ， 可 以 横 癌 扩展 引擎 节 操 


实现 性 能 的 近 线 性 增长 ， 存 储 容量 不 二 时、 可 以 纵 问 扩展 存储 单元 增加 容量 。 
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示人 赋 究 院 局 性 能 计算 存储 系统 


HPC 头 节点 计算 节点 队列 1 计算 节点 队列 2 计算 节点 队列 3 计算 节点 队列 N 


。 解决 方案 : 
o 5 节点 N8500，216TB 容 量 
。 客户 价值 : 
o 计算 时 间 从 一 周 缩短 到 10 个 小 时 /提高 计算 效率 
多 节点 全 Active 集 群 架 构 提 升 系统 并 发 处 理 能 
， 可 有 效 避 免 热 点 数据 访问 瓶颈， 系统 故障 时 支持 
自动 Fqil-over，Fqil-back、 确 保 数 据 安 全 
所 有 存储 资源 集中 管理 维护 简单 
满足 未 来 业务 增长 扩容 需 
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大 规模 的 高 性 能 计算 集群 对 后 端 存储 的 要 求 非常 高 ， 如 果 使 用 的 存储 架构 是 IO 节 点 
+FCSAN 的 形式 ， 其 实 就 是 自己 搭建 的 NAS 系 统 。 这 样 搭建 系统 很 简易 ， 只 是 实现 了 一 个 
NFS 文 件 系统 共享 的 功能 ， 在 性 能 、 可 靠 性 、 稳 定性 、 管 理 维护 性 方面 都 难以 满足 实际 的 
需要 ， 特 别 是 性 能 不 足 ， 导 致 了 高 性 能 集群 的 效能 发 挥 不 出 来 。 

高 性 能 计算 对 存储 的 读 写 基本 半 属 于 大 文件 读 写 类 型 ， 每 个 计算 节点 一 次 读 取 若 干 数 
据 ， 完 成 计算 后 ， 再 把 结果 写 回答 储 ~ 计算 节点 越 多 ， 对 存储 性 能 的 要 求 也 就 越 高 。 之 前 
的 IO 节点 +FCSAN 的 形式 ， 管 理 分 散 ， 维 护 复杂 ， 所 以 集中 管理 ， 维 护 简单 也 是 客户 所 看 
重 的 。 高 性 能 计算 每 天 都 窦 生 成 大 量 的 数据 ， 有 时 候 最 多 的 时 候 有 几 百 GB 的 数据 ， 这 就 
要 求 要 有 很 好 的 扩容 能 力 。 而 且 随 着 业务 的 发 展 ， 计 算 节 点 的 数量 也 越 来 越 多 ， 这 也 就 要 
求 存储 要 能 够 有 足够 的 性 能 扩展 能 力 。 

这 里 以 一 个 计算 集群 为 例 ， 计 算 节 点 100 台 ， 负 责 计 算 任务 的 执行 ， 可 以 同时 运行 多 个 
计算 任务 ， 每 个 计算 节点 都 是 整个 计算 能 力 资源 池 中 的 一 个 资源 ， 只 要 资源 没有 耗 尽 ， 就 
可 以 执行 新 的 计算 任务 ， 如 果 已 经 耗 尽 了 ， 计 算 任务 就 需要 等 待 空闲 的 资源 ， 计 算 节 点 和 
存储 系统 有 关 量 的 交互 ， 要 频繁 的 读 取 和 写 入 数据 。 管 理 节点 两 合 ， 用 于 分 发 任务 到 各 个 
不 同 的 区 点; 控制 计算 的 整个 流程 ， 管 理 节点 不 需要 跟 后 端 存储 有 大 量 的 数据 交互 ， 但 是 
也 要 访问 存储 空间 ， 因 为 存储 空间 上 存放 着 任务 执行 的 脚本 。 

目前 配置 了 5 节点 的 N8500， 三 套 55500， 每 套 72 块 1TB SATA 盘 ， 共 216T， 整 套 系统 实 
测 带宽 超过 GB/s， 充 分 满足 客户 需求 。 
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示 购 物 网 海量 文件 存储 系统 
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。 解决 方案 : 

0 内 置 NBU Media 备 份 软件 ， 提 供 高 市 宽 数据 备份 解决 方案 
。 客户 价值 : 

0 大 容量 集中 存储 系统 ， 文 撑 客 户 未 来 "年 爆发 性 数据 增长 


a 提供 1496TB 大 容量 存储 系统 ， 并 可 根据 客户 需求 在 线 扩展 至 12PB， 满 足 某 
购物 网 未 来 爆发 性 的 数据 增长 


竞争 对 手 单 僚 系 统 只 能 文 持 不 到 1PB 的 存储 空间 ， 无 法 满足 用 户 扩展 性 需求 
0 备份 效率 提升 4 售 和 > 备份 更 加 轻松 便捷 

" 12 节点 并 发 读 写 否 吐 量 近 3GB/s， 完 全 满足 用 尸 500 多 人 台数 据 库 服 务 器 并 发 
访问 要 求 
用 户 每 日 数据 增长 量 近 15TB， 关 键 数据 超过 2TB， 备 份 窗口 不 到 4 小 时 


内 置 NBU Medio 备 份 介质 软件 ， 实 现 高 性 能 并 发 式 数据 备份 ， 与 传统 
NDMP 协 议 备份 方式 相 比 ， 备 份 效率 提高 近 4 信 
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才 国 土 资 源 局 GIS 系 统 


Oracle HA Web Mail GIS 管 理 合 


| @ 解决 方案 : 


BD DD o 4 节点 N8500 
GIS server Appserver 


_FC-SAN ， ~ CIFS/NFS ， 


FC-SAN ，IP-SAN 和 和 
NAS 等 多 种 组 网 整 


人 
户 
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。 N8500 给 客户 带 来 的 价值 包括 : 
o 简化 IT 基础 架构 
=。 通过 整合 ， 将 原 有 多 套 单独 建设 的 存储 系统 整合 到 一 套 设备 上 ， 简 化 IT 基础 架构 ， 
降低 管理 维护 成 本 。 
o ”保障 业务 的 连续 性 和 稳定 性 


a 对 GIS 业 务 系统 数据 实现 高 可 靠 保护 ， 解 决 原 有 存储 系统 存在 的 单 点 故障 风险 ， 
保障 GIS 系 统 7 X24 小 时 持续 运行 。 


0 大 幅度 提升 系统 整体 性 能 
。 多 个 NA 引擎 同时 提供 业务 ， 提 升 系统 性 能 ， 解 决 热点 数据 性 能 瓶颈 ， 实 现 业务 
负载 均衡 。 


。 助力 业务 持续 增长 


。 提供 在 不 中 断 业 务 的 情况 下 横向 添加 NAS 引 擎 提升 性 能 ， 纵 向 添加 存储 单元 扩展 
容量 的 能 力 ， 满 足 未 来 业务 增长 需求 。 
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总 结 


。 集群 NA 硬件 组 成 和 软件 特性 
N8500 系 统 内 外 组 网 
N8500 软 硬件 安 沪 
NFS 和 CIFS 配 置 部 署 
悄 高 级 特性 原理 与 配置 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. 


Page 98 


NW, HuAwel 





[| 227 0 


。 集 群 NAS 硬 件 基本 组 成 有 哪 几 部 分 组 成 ? 每 部 分 的 主要 
功能 是 什么 ? 


。 N8000 集 群 NAS 系 统 的 IP 地 址 如 何 规划 ? 


。 请 撕 述 一 下 N8500 系 统 初始 化 配置 和 文件 系统 共 亭 的 基 
本 配置 的 过 程 ? 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 99 CD HUAVWEI 


[| 228 0 


人 
Ye, 
:2 


www.huawel.com 


Thank you 
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目标 


。 学 完 本 课程 后 ， 您 将 能 够 : 
描述 大 数据 存储 硬件 组 成 和 软件 特性 
掌握 9000 系 统 典型 组 网 
掌握 9000 软 硬件 安装 
o 熟悉 NFS 和 CIFS 配 置 部 署 
熟悉 Info 系 列 特性 原理 与 配置 
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。 学 习 完 本 章 具 备 OceqnStor9000 大 数据 存储 诺 般 部署 与 管理 能 力 。 
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多 目录 


1. 大 数据 存储 OQceanStor9000 简 介 
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大 数据 存储 OceanSstor9000 介 绍 


。 大 数据 存储 特点 
弹性 空间 
卓越 性 能 
简化 管理 

o 高 可 靠 性 

。 应 用 场景 
广电 媒 资 
高 性 能 计算 
大 型 企业 数据 中 心 
互联 网 运营 


区 虚 机 柜 节点 机 柜 
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卓越 性 能 

。 内 部 高 速 互联 采用 10GE Ethernet 或 40GE Infinipand 网 络 互 联 ， 支 持 TOE/RDMA 技 术 
。 SSD 元 数据 加 速 : 采用 SSD 盘 存储 元 数据 人 拒 提高 元 数据 访问 效率 

。 全 局 缓存 :最 大 可 支持 55TB 全 局 缓存 ,提高 数据 访问 命中 率 

。 动态 分 级 存储 : 热点 数据 知 能 迁移 ， 提 升 系 统 性 能 

。 智能 负载 均衡 : 跨 市 点 的 客 郑 闹 连 接 负 载 均 衡 ， 目 动 平 衡 容量 和 性 能 ， 优 化 集群 资源 
弹性 空间 

。 弹性 扩展 : 超 平 想象 的 3-288 市 点 无 缝 扩展， 容量、 性 能 随 市 点 增加 而 线性 增长 

。 Scale-oui 架 构 : 可 灵活 扩展 的 Share-nothing 的 全 对 称 分 布 式 架构 

。 全 局 命名 空间 ;最 大 40PB 的 单一 文件 系统 

数据 可 靠 

。 数据 元 余 保护 :提供 业界 最 高 水 平 的 数据 可 靠 性 和 可 用 性 ; 系统 全 元 余部 署 ， 无 单 点 故障 
。 可 靠 性 灵活 配置 : 文 持 基于 目录 的 元 余 配 比 策略 ， 提 供 不 同 的 数据 保护 级 别 

。 /自动 修复 : 智能 包 辑 坏 道 、 物 理 坏 道 修 复 ， 并 采用 磁盘 预 找 贝 技术 ， 降 低 磁盘 故障 率 

。 权限 管理 ， 提供 针对 IP 地 址 或 用 户 / 用 户 组 的 访问 权限 控制 ， 创 建安 全 、 隔 离 的 存储 池 
应 用 场景 


。 Oceanstor?9000 作 为 大 数据 存储 产品 ， 可 广泛 应 用 于 广电 媳 资 、 高 性 能 计算 、 数 据 中 心 、 互 联 
网 运营 和 大 型 企业 等 各 行业 领域 。 
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OceanStor 9000 硬 件 节 点 \ 


llaln Oe| oe lolVAllele [sm /NCS yb 
前 视图 


CTT THT TTR TT 
后 视图 TP 
1 


12 个 数据 硬盘 槽 位 (3.5“ 盘 ) 
标 配 : 2 路 4 核 CPU，32G 内 存 ， 
12*2TB SATA 盘 (数据 盘 ) 
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OceanStor 9000 家 族 硬件 


Performance node 一 一 OPS 密 集 型 应 用 场景 


前 视图 


LL 
~ 
re-=-=- "oo” 


| pri 


2U 设 备 

25 个 硬盘 横 位 (2.5“ 盘 ) 
标 配 : 2 路 6 核 CPU，48G 内 存 ， 
支持 S35D、SAS 盘 ， 按 需 配 置 
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OceanStor 9000 家 族 硬件 


\@{e | ole [eID Adlele [sm A 


前 视图 


36 个 硬盘 模 位 (3.5“ 盘 ) 
标 配 : 2 路 6 核 CPU ，48G 内 存 
支持 SSD、NL SAS、SATA 盘 ， 按 需 配置 
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多 目录 


. 系统 硬件 
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硬件 组 件 


说 明 
2U 存 储 节 所 
2U 存 储 节 点 
C 节 所 4 存储 站 有 


CE6850- 
48S4Q-El 


Fe 


|B 交 换 机 8S 口 KVM 控 制 器 


WT 


提供 8 路 键盘 、 鼠 标 和 


钢 频 端口 
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。 主要 包括 : 
o 存储 节点 (P 和 C 节 点) ， 负 责 承载 分 布 陈 存储 系统 软件 和 各 种 特性 ， 同 时 提供 
存储 空间 资源 
0 连接 设备 : 主要 负责 管理 网 络 、 后 端 集群 网 络 和 有 前端 业务 网 络 互 联 ， 采 用 高 速 互 
联网 络 主 要 解决 大 数据 存储 “访问 的 高 带宽 需求 


[| 241 0 


M 节 点 人 硬件 形态 


。 Mini-Capacity node ， 支 持 小 容量 应 用 场景 


2 xIntel E52403 4 核 
1:8GHz 
24C5B~96GB, 32GB 


2xX300GB 10K rpm 2.5 
十 SAS (RAID1) 


E24 


[ET 
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man SS 


| 1 “是 ““ |, BB Bs BB .bn. , 一 ~ ~ 一 一 
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Pp 节点 前 面板 提供 25 个 业务 硬盘 槽 位 ， 作 为 系统 数据 盘 ， 从 左 到 右 依次 编号 为 0~24 


0 号 一 3 号 模 位 支持 4 个 2.5 英 寸 的 业务 硬盘 (SSD) ， 作 为 系统 数据 盘 ， 用 于 提供 元 数据 
存储 和 分 集 存 储 特性 的 高 性 能 存储 空间 


4 号 一 24 号 槽 位 支持 21 个 2.5 英 寸 的 业务 硬盘 (SAS) ， 作 为 系统 数据 盘 ， 用 于 提存 储 系 
统 的 物理 空间 
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P 方 点 闹 口 


4 PCI-E 扩 展 插 权 
5 SAS 卡 

6 GE 网 口 

7 IPMI 管 理 网 口 


8 USB 端 口 = Rs ee a 


2 系统 串口 

10 VCA 端 口 

11 系统 告警 指示 灯 

12 系统 定位 指示 灯 

18 硬盘 告警 /定位 指示 灯 


20 10GESFP+ 以 太 网 光 接 口 
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e。 PP 点 后 面板 提供 2 个 操作 系统 硬盘 槽 位 ss 从 左 到 右 依 次 编号 为 SYSTEMDIS9KO 和 
SYSTEMDISK1 ,为 2 块 300GB 2.5 英 寸 SAS 硬 盘 ， 用 于 承载 节点 本 地 操作 系统 


。 P 记 点 的 PCI-E 扩 展 插 权 可 选 配 : 2 病 肯 CE 网 卡 ，2 哨 口 TOE 10GE 网 卡 ，2 端 口上 B 网 卡 或 
SAS RAID 卡 


[DD 244 0 


| | 
ema am 





7 
:1 @: 
国 : 了 国 :了 
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C 贡 点 前 面板 提供 24 个 业务 硬盘 槽 位， 从 左 到 有 ， 从 上 到 下 ， 依 次 编号 为 0 一 23， 左 边 
最 顶端 的 槽 位 是 0 号 槽 位 


C 节 点 后 面板 提供 12 个 业务 硬盘 槽 fs 业务 硬盘 模 位 编号 延续 前 面板 的 序号 ， 从 左 到 右 
， 从 上 到 下 ， 依 次 编号 为 24~35 ,。 右 边 最 底 端 的 槽 位 是 35 号 槽 位 


数据 盘 : 1 个 3.5 英 寸 的 业务 硬盘 200G SSD， 插 入 0 号 权 位 ; 35 个 3.5 英 寸 的 业务 硬盘 
4TB SATA， 插 入 1 号 一 35 号 横 位 


系统 盘 : 文 持 2 个 2.2 贡 和 寸 的 后 置 操 作 系统 硬盘 300CB SAS 
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16 15 14 13 
4 PCI-E 扩 展 插 横 

5 SAS 卡 

6 GE 网 口 





7 IPMI 管 理 网 口 

8 USB 端 口 

2 系统 串口 

10 _ VGA 端口 

20 10GESFP+ 以 太 网 光 接 口 


一 


网 HUAWEI 
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。 C 节 点 后 面板 提供 2 个 操作 系统 硬盘 槽 位 和 12 人 多 业务 硬盘 槽 位 ， 系统 盘 槽 位 从 左 到 右 依 
次 编号 为 SYSTEMDISKO 和 SYSTEMDISKI 


。 CH 扣 的 PCI-E 扩 展 插 权 可 选 配 : 2 靖 口 CE 网 卡 ，2 站 口 TOE10CE 网 卡 ，2 站 口上 网 卡 或 
SAS RAID 卡 
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附 : 硬件 特性 参考 


CT Ta 


pp 、 
数据 盘 支持 2.5 寸 SSD、SAS 硬 盘 (根据 客 be 


户 实际 性 能 需求 ， 可 调整 SSD/HD 的 配 比 ) 可 调整 SSD/HD 的 配 析 ) 


SAS 4TB SATA 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 14 CD HUAWEI 





。 此 特性 是 V100RO001C00 版 本 特性 ， 产 品 特性 随 产 品 版 本 变化 
。 重点 了 解 : 硬盘 类 型 、 前 端 网 络 、 内 部 互联 


[| 247 0 


. 系统 软件 
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9000 系 统 组 成 


统一 的 管理 控制 域名 | 


NW HuAwel 
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系 纪 


,--”” ISM 集 群 ee 


本 [区 


Nogs NoFs NoPs | sogs gs NOFs | Nogs NoFs 
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NFS/CIF 集 群 负责 NAS 协 议 ; 
CA (客户 端 代理 ) 负责 文件 系统 协议 的 语义 解析 执行 ， 是 文件 系统 业务 发 动机 


MDS (元 数据 服务 ) 管理 文件 系统 的 元 数据 ， 可 以 定义 为 文件 系统 元 数据 的 读 写 缓存 
; MDS 集 群 不 同市 点 按照 子 树 切 制 ; 相互 不 重 辣 ;考虑 负载 均衡 ， 扩 展 性 ， 可 靠 性 ， 
提供 子 树 迁 移 能 力 


DS (数据 子 域 ) 和 集群 提供 可 靠 的 对 象 存储 ; 为 文件 系统 元 数据 和 文件 数据 提供 存储 能 
力 ; D> 集 群 提 供 委 异化 的 数据 几 余 保护 能 


Monifor 集 群 提供 系统 的 集群 状 太监 控 和 状态 表格 同步 ， 可 靠 保存 的 能 力 ; 


CMS (集群 管理 服务 ) 集群 对 集群 的 物理 节点 进行 设备 管理 ， 提 供 配置 、 告 警 志 
、 升 级 能 力 ; 


I SM 为 OceansSteor9000 提 供 配 置 ， 告 敖 等 Ul 界面 


Info 系 列 软件 


WushanFS 


E InfoLink 


WushanFS$: Wushan 
File System 


InfoTier 


Wushan FS: 分 布 式 文 件 系统 
Info Data Protection 高 可 靠 数据 保 换 


集群 负载 均衡 软件 
多 种 负载 策略 支持 
可 选 软件 ， 单 独 购买 license 


配额 管理 ,可 对 目录 或 用 户 进 行 空间 限制 
可 选 软件 ， 单 独 购 买 license 


自动 分 级 存储 
基于 策略 的 自动 迁移 
可 人 选 软 件 等 单独 购买 license 
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单一 文件 系统 


。 统一 文件 系统 命名 空 。 让 有 8S 器 
间 





Oceanstor ?000 对 外 提供 统一 的 文件 系统 命名 空间 。 用 户 存 储 文件 、 设 置 共 享 、 管 理 
权限 的 操作 对 和 象 均 位 于 该 命名 空间 内 。 统 一 的 命名 空间 可 以 使 用 和 管理 当前 系统 的 全 部 可 
用 容量 。 

命名 空间 在 Oceanstor 9000 局 动 时 自动 创建 ， 其 名 称 与 系统 命名 保持 一 至。 各 共享 目 
录 均 为 命名 空间 的 子 目 录 。 同 时 命名 空间 作为 整个 系统 的 根 目 录 ， 也 可 以 被 共享 和 访问 。 

统一 的 命名 空间 为 用 户 提 供 统一 的 存储 资源 池 ， 实 现 对 存储 空间 的 集中 管理 和 分 配 。 
当 进 行 扩 容 时 ， 新 增 容量 可 直接 纳入 资源 池 使 用 ， 避 免 维护 多 个 文件 系统 。 


252 | 


按 需 扩展 SS 


应 用 服务 器 
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智能 负载 均 稀 
波光 易 淘 本 


“oceanstor9000 


一 当 喇 ， 


node node pe node 
， 192.168.0.20 ”192.168.0.22 192 168 .0 .23 192.16 纺 0.24 


`、 192.168.0.21 
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。 在 所 有 世上 点 间 上 自动 进行 负载 均衡 

。 目 动 平衡 容量 和 性 能 

。 IP 的 故障 切换 (failover) 和 故障 恢复 (feilback) 
。 无 需 人 工 干 预 ， 无 需 更 改 配置 

。 对 应 用 透明 


DD 224 0 


能 负载 均衡 \ 


负载 均衡 实现 过 程 : 
1、 访 问 系统 一 级 /二 级 域名 ,如 : fx.tx.com 


2、 OceanStor 9000 对 域名 进行 解析 ， 根 据 负 
载 策略 ， 返 回 IP 地 址 


、 业 务 请 求 Nd 


NFS Client 


node node node . node node node 


; Zone 1: 基于 CPU 使 用 情况 ; Zone 2: 基于 网 络 连 接 数 
j 二 级 域名 : fx.tx.com = td.tx.com 
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智能 负载 均衡 特点 
。 对 外 提供 单一 域名 访问 方式 

。 可 划分 分 区 ， 对 不 同 分 区 设置 三 级 域名 ， 以 及 不 同 的 负载 策略 

。 负载 均衡 策略 可 以 基于 : CPUS 内 存 、 带 宽 、 网 络 连接 数 、 节 点 能 力 值 
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分 级 存储 


。 不 同 世 点 的 分 级 满足 了 用 户 不 同 的 需求 ， 满 足 用 户 既 需要 高 性 能 访问 也 需要 大 市 竞 


存储 的 矛盾 。 


。 人 允许 用 户 把 自行 规划 自己 的 业务 ， 把 对 目 己 的 业务 进行 分 级 ， 把 东 些 重要 的 业务 放 


在 性 能 较 高 的 节 扣 上 。 


Tier 1 


© 热 数据 ”全 普通 数据 重 ; 数 据 
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分 级 存储 特 所 : 


0 ” 文 持 不 同类 型 节点 间 分 级 存储 

0 基于 自 定义 的 分 级 策略 

0 ”支持 文件 大 小 ， 路 径 ， 时 间 属 性 ，|O 热 度 等 策略 
0 无 颖 地 适应 业务 变更 , 测 不 会 影响 应 用 程序 


NW HuAwel 





0 将 多 个 应 用 程序 整合 到 单个 存储 系统 中 ， 消 除了 数据 移动 且 简 化 了 管理 


高 效 全 局 缓存 1 A 
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。 高 效 全 局 缓存 特点 : 
0 将 集群 中 所 有 节点 的 缓存 整合 成 统一 的 全 局 可 见 统一 的 大 缓存 
0 文件 条 市 数据 的 全 局 缓存 且 只 缓存 用 户 数据 ， 不 缓存 几 余 数据 
0 缓存 热点 动态 迁移 


o 55TB 超 大 缓存 池 
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高 效 全 局 缓存 2 


利用 分 布 式 锁 ， 实 现 全 局 
/ 缓存 
QD 服务 器 向 Node 。 导 同一 数据 块 所 在 节点 的 组 
C 申 请 锁 存 只 缓存 一 份 
绥 存 中 的 要 括 才 
能 被 其 他 节点 访问 时 在 组 
存 中 命中 


应 用 服务 器 
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。 如 果 其 它 客 户 剖 持 有 该 锁 时 ， 需 要 从 其 它 客户 端 缓 存 中 读 取 数据 
。 如 果 没 有 客户 端 持 有 该 锁 ， 需 要 申请 饥 \ 重建 条 冲 数 据 
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一 贷 产 官 理 


支持 目录 配额 、 用 户 配 额 、 用 户 组 配额 
支持 基于 NFS/CIFS 的 软 硬 配额 
软 配额 生效 时 间 可 以 在 创建 配额 时 设置 


以 小 时 为 单位 ; 硬 配 额 立即 生效 
i 20TB 40TB 30TB 


文 持 柑 套 的 配额 设置 ， 最 多 肉 套 8 层 
天 然 支 持 自 动 精简 配置 ， 实 现 超额 配置 
组 


20TB 10TB 
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提供 基于 目录 或 用 户 / 用 户 组 的 配额 控制 ， 并 本 以 在 存储 达到 限制 时 发 出 告 


提供 两 种 类 型 的 配额 


0 计算 配额 : 只 监控 容量 使 用 情况 ， 不 限制 使 用 
0 强制 配额 : 在 监控 容量 使 用 情况 的 同时 ， 可 以 控制 硬盘 使 用 





警 。 


配额 设置 限制 : 整 系统 中 最 大 支持 8122 个 配额 项 ， 配 额 不 限制 文件 数 ， 对 windows 和 


inux 区 分 配额 数 
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NFS/CIFS 集 群 


CIFS/NFS SERVER 采用 集 Windows 
群 部 署 形式 
CIFS/NFS SERVER 部署 在 
各 个 存储 服务 器 上 ， 是 分 
布 式 、 全 对 称 集群 架构 
CIFS CIFSINFS | NFS 
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CIFS/NFS 共 享 的 单位 是 目录 。 所 共享 的 目录 本 和 被 多 个 客户 端 访 问 。O 〇 ceanstor3000 各 
节点 以 集群 方式 对 外 提供 共享 服务 ， 节 点 间 可 相互 监控 服务 状态 。 

Oceanstor9000 可 根据 业务 和 节点 状态 实现 负载 均衡 ， 数 据 访 问 在 集群 内 均匀 分 布 ， 
以 保证 高 并 发 场景 下 的 系统 性 能 。 当 出 现 设 备 故 障 后 ，OCceqnstor?000 可 自动 切换 服务 
节点 ， 以 保证 业务 的 高 可 靠 性 。 
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附 : 软件 特性 参考 


才 扣 保护 级 


文件 系统 Wushan 分 布 式 文件 系统 文 持 全 局 命名 空间 ， 可 动态 扩展 ， 最 大 40PB 


动态 分 级 存储 (InfoTier)/ 客 户 端 连接 自动 负载 均衡 (InfoLink)/ 空 间 配 额 管理 
(InfoQuotoal) 


增值 特性 


自动 精简 配置 支持 自动 精简 配置 ， 无 需 配 置 


数据 自动 化 并 行 快速 恢复 ， 最 高 恢复 速度 达 1TB/H 
“一 键 式 ”在 线 扩展 ， 单 节点 扩展 小 于 60 秘 
NFS, CIFS, NIS, Microsoft Active Directery»y LDAP, SNMP 


免 及 时 维护 ee 坏 盘 可 批量 集 电 更 换 ， 无 须 即时 更 换 ， 减 少 
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此 特性 是 V100RO01C00 版 本 特性 ， 产 品 特性 随 疗 品 版 本 变化 。 
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.组 网 与 连接 
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入 多 
9000 暴 型 组 网 方式 


应 用 服务 器 应 用 服务 应 用 服务 器 
9 enss 证 [Ee 理 服 务 器 动 | 


二 0 


| ioGEX 
( 客 户 提供 )| 

1 二 
南 9000 


| 
EYE 
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。 OceqnsStor 9000 的 组 网 结构 包括 : 
0 前端 业务 网 络 用 于 2000 与 用 户 网 络 对 接 。 
o 后 端 存 储 网 络 用 于 ?000 内 如 万 点 间 互 联 。 
o IPMI 网 络 用 于 2000 与 用 户 维 护 网 络 对 接 。 


o 9000 支 持 多 种 组 网 方式 ， 包 括 10GE 组 网 、IB 组 网 和 GE 组 网 等 ， 可 满足 用 户 的 不 
同 组 网 需求 。 
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前 端 GE 后 端 10GE 暴 型 组 网 ， 


。 组 网 介绍 : 
o 10GE 后 端 存储 互联 jy; 
交换 机 
o 1GE 前 端 业务 互联 


o 1GE 管 理 网 络 


没 和 多 管理 太 ; 疯 网 络 
IPMI 网 络 SFP+ 
GE 网 线 高 速 线 缆 
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。 组 网 介绍 : 


2604 0 


0 各 节点 使 用 2 个 10CE 接 口 ， 通 过 高 速 线 纹 分 别 连 接 到 2 全 CE6850 交 换 机 。 

0 CE6850 交 换 机 之 间 使 用 2x40GE QSFP+ 高 速 线 红 完 成 堆 革 连接。 

0 ”各 证 上 操 的 IPMI 接 口 使 用 1 XGE 网 线 连 接 到 35752 交 换 机 。353752 交 换 机 通过 2 x GE 
网 线 上 行 连接 用 户 维 护 网 络 


IB 组 网 N 


。 组 网 介绍 : 
o 40GE1B 后 端 存储 互联 前 端 网 络 
0 、 用 户 
o 10GE 前 端 业务 互联 。 交 执 机 


o 1GE 管 理 网 络 


一 
ee 


NW HuaAwel 
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GE 组 网 


。 组 网 介绍 : 
o 1GE 后 端 存储 互联 
前 端 后 端 网 络 和 
o_ 1] CE 前 端 业 务 互联 tp 
o 1GE 管 理 网 络 
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万 点 贿 口 


B3-1 B3-0 AU-0 AU-1 


WW 同 : 
WW 同 : 


i> 





NICO IPMI 
B3-1 B3-0 IPMI 


WML! 
nm 
[10 kl 





ip 
oe 








NICO NIC1 
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组 网 方式 : 前 端 网 络 采 用 客户 网 络 的 10GE 交 换 机 ， 后 端 网 络 采用 lB 交换 机 组 网 


口 


口 


口 


口 


A0-0 和 A0-1: 后 端 网 络 ， 使 用 2 根 QSFP+ 高 速 线 缆 连 接 到 IB 交 换 机 |S5023 
B3-0 和 B3-1: 前 端 网 络 ， 使 用 2 根 光 纤 连 接 到 客户 网 络 的 10GE 交 换 机 
IPMI: 维护 网 络 ， 通 过 1 根 网 线 连 接 到 $5752/$5352 交 换 机 


NICO; 维护 网 络 ， 将 基础 柜 * (9000 基 础 配置 机 柜 ) 内 最 下 方 3 个 节点 的 NICO 分 
别 通过 1 根 网 线 连接 到 S5752/S5352 交 换 机 


组 网 方式 : 前 端 和 后 端 网 络 均 采 用 CE 交换 机 组 网 


口 


A0-0、Au4、B3-0 和 B3-1: 后 端 网 络 ， 使 用 4 根 网 线 连接 到 所 在 机 柜 中 的 
S5752/S5352 交 换 机 


NICO 和 NIC1》 前 端 网 络 ， 通 过 2 根 网 线 连 接 到 用 户 网 络 的 CE 交换 机 。 


IPMI: 机柜 内 部 编号 为 琳 数 的 存储 节点 顺序 连接 到 35752/S5352-01， 编 号 为 偶数 
的 存储 节点 顺序 连接 到 $5752/S5352-02。 
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10GE 互 联 组 件 


。 10GE 交 换 机 CE6850-48S4Q-E| 
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。 1-48 为 10GE SFP+ 以 太 网 光 接 口 ， 其 中 : 
o 通常 1 一 32 号 光 接 口 下 行 连接 到 存储 节点 
0 33 一 48 号 光 接 口 预 留 
。 右边 1-4 端 口 为 40GE QSFP+ 以 太 网 光 接 口 ， 用 于 机 柜 内 两 全 交换 机 之 间 堆 严 ， 其 中 : 
o 节点 数量 <16 时 ， 使 用 2 个 接口 堆 笃 
o 16< 节 点 数量 <24 时 和 % 使 用 3 个 接口 堆 赫 
0 24< 节 点 数量 <32 时 ， 使 用 4 个 接口 堆 畦 
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40G 互 联 组 件 SS 


。 |B 交换 机 IS5023 


0 ®.\X 


Ta nnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnr 
A ey 四 < 


A Pi ns ie 
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。 1~18 为 40GE QSFP+ 以 太 网 光 接 口 ， 其 中 : 
o 通常 1~16 号 接口 下 行 连接 到 存储 节点 
弟 


9 通常 17 和 18 号 接口 为 交换 机 之 闻 的 互 连 接口 
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1GE 互 联 组 件 


e。 GE 交换 机 S5700-52C-SI/S5352C-9| 
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e。 10/100/1000BA3SE-T 以 太 网 接口 ， 其 中 : 


在 前 端 网 络 和 后 端 网 络 均 采 用 GE 交换 机 时 ，1~24 号 接口 下 行 连接 到 存储 节点 的 
GE 电 接口 ; 25~30 号 接口 下 行 连接 到 存储 节点 的 IPMI 口 ;31 和 32 号 接口 上 行 连 
接 到 客户 的 网 络 设备 


0 在 前 端 网 络 和 后 端 网 络 均 采 用 10CE 交 换 机 时 ，1 一 32 号 接口 下 行 连 接 到 存储 也 氮 
的 IPMI 口 ，42、43 和 和 44 号 接口 下 行 连接 到 基础 柜 内 1~3 号 存储 节点 的 NIC0O 口 ， 
45 和 46 号 接口 连接 到 0GE 交 换 机 的 ETH 接 口 ，47 和 48 号 接口 上 行 连接 到 客户 的 
网 络 设备 


0 在 后 端 网 络 订 用 交换 机 时 ，1~32 号 接口 下 行 连接 到 存储 三 点 的 IPMID ，44、 
45 和 46 号 接口 下 行 连接 到 基础 柜 内 1~3 号 存储 节点 的 NIC0 口 ，47 和 48 号 接口 上 
行 连 接 到 客户 的 网 络 设备 
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组 网 连接 举例 


S5752/S5352 


CE6850-02 


CE6850-01 


ms sd 


QSEP% 高 速 线 绕 
网 线 
光纤 
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本 节 示 例 中 ， 组 网 方式 为 前 端 和 后 端 网 络 均 采 用 10GE 交 换 机 组 网 ， 部署 3 台 P 节 点 
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IP 地 址 规划 1 


IP 
Re 
10GE | 节点 数量 2 个 接口 IP 地 址 
组 网 X 6+] ， 4 个 预 留 作 为 InfoLink 的 动态 前 端 P 地 址 
.InfoLink DNS IP 地 址 1 个 
(不 论 是 否 购 买 InfoLink 特 性 Licen 疙 网 
X 6+1 需要 ) 


. 2 个 接口 IP 地 址 
. 4 个 预 留 作为 InfoLink 的 动态 前 端 IP 地 址 
.InfoLink DNS IP 地 址 1 今 
(不 论 是 否 购买 InfoLink 特 性 License 均 
EE 


前 
4. ”管理 IP 地 址 1 个 


q: Oceanstor 2000 的 组 网 类 型 以 后 端 存储 网 络 交换 机 的 类 型 区 分 ,如 后 端 存储 网 络 
交换 机 采用 10GE 交 换 机 ， 则 称 此 OceansStor98000 组 网 为 1OGE 组 网 。 
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。 如 有 果 后 续 存在 扩容 需求 ， 为 避免 扩容 时 重新 调整 网 段 ， 请 提前 为 扩容 节点 和 交换 机 预 
留 |P 地 址 。 


。 建议 每 个 网 段 预 留 2 个 以 上 IP 地 址 ， 供 调试 时 使 用 。 
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IP 地 址 规划 2 


10GE 组 网 “| 节点 数量 + 管理 网 络 | 存储 节点 IPMI 接 口 分 配 1 个 

一 交换 机 数量 +2 每 台 管 理 网 络 交换 机 分 配 1 个 ， 

Oceanstor 9000 管 理 |P 地 址 

系统 管 |p 纪 网 节点 数量 + 管理 网 络 | 1 个 ， 后 端 存储 网 络 交 铭 机 ) 
理 控制 . 交换 机 数量 +1 We 


网 络 
节 扣 数量 + 后 端 存 储 | 每 个 存储 节 扣 IPM| 接 同 分 配 1 


GE 组 网 网 络 与 管理 网 络 交换 | 个 ， 每 2 台 后 端 存 储 网 络 与 管 
机 总 数量 /2 理 网 络 交换 机 分 配 1 个 


每 个 存储 节点 分 配 2-3 个 ， 软 
Ea i 件 安装 时 通过 DHCP 分 配 临 
4 点 尖 量 
7 1 个 。 
GE 组 网 节操 数量 X2 
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IP 地 址 规划 举例 --10GE 组 内 


前 羡 业 务 网 络 
《 辐 存 储 节点 存 取 文件 


CE6850 ~ CE6850 es 
交换 机 Fe S5752 


交换 机 以 


192.168.100.xxx/ 10.110.100.xxx/ 
255.255.255.xxx 255.255.255.xxx 


人 存储 节点 医 


172.18.0.xxx/ 
255.255.255.x 


CE6850 
交换 机 


后 端 存储 网 络 
《存储 节点 内 部 通信 网 络 》 
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。 且 并 业 务 网 段 : 需要 的 IP 地 址 数目 为 29， 因 此 掉 码 长 度 要 求 小 于 或 等 于 27。 此 例 中 使 
用 27 位 掩 码 。 


。 管理 网 段 : 需要 的 |P 地 址 数目 为 7 ( 朱 含 预 留 数目 ) ， 因 此 掩 码 长 度 要 求 小 于 或 等 于 28 
。 此 例 中 使 用 28 位 掩 码 。 


。 后 站 存储 网 段 : 需要 的 IP 地 址 数 上 月 为 12， 因 此 掩 码 长 度 要 来 小 于 或 等 于 28。 此 例 中 使 
用 24 位 掩 码 。 
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网 络 配置 --10GE 交 换 机 配置 


。 管理 网 络 交换 机 采用 
35752/35353 


后 端 存 储 网 络 交换 机 

通常 两 合 ， 存 储 世 点 

小 于 等 于 32 是 ， 采 用 ”存储 节操 
CE6850 


后 端 存储 网 阁 后 痛 存 储 网 络 


父 的 机 1 父 换 机 2 
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下 面 以 两 合 CE68530、 一 全 33752 为 例 襄 明 交换 机 的 配置 方法 。 其 他 型 号 的 交换 机 配置 
法 与 此 类 似 ， 您 可 以 参考 随 交 换 机 发 代 的 相关 文档 完成 对 应 操作 。 


CE6850-1 超 级 终 病 通信 参数 为 2600lbpsW8 位 数据 位 、1 位 停止 位 、 无 奇偶 校 验 和 无 数 
据 流 探 制 。 


。 配置 流程 : 
1、 配 置 两 人 台 后 端 存储 网 络 交 换 机 为 堆 到 状态 。 
2、 打 开 两 谷 后 端 存 储 网 络 交 换 机 中 10GE 接 口 的 流量 控制 开关 。 


3、 为 后 端 存 储 网 络 交换 机 1 (高 堆 靶 优先 级 ) 的 管理 网 口 MEih10/0/0 配 置 一 个 管理 
网 段 的 中 地 址 六 然后 配置 NMP。 


4、 为 每 侣 管理 网 络 交换 机 的 VLAN 由 1 接口 配置 一 个 党 理 网 段 的 了 地 址 ， 然 后 配置 
SNMP 


具体 操作 人 参见 实验 手册 或 产品 手册 。 
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网 络 配置 --IB 交 换 机 配置 


管 采用 两 合理 网 络 交 管理 网 络 
换 机 为 35752/35352 交换 机 1 
后 端 存储 网 络 交 换 机 
数量 为 2 台 ， 存 储 节 
点 小 于 等 于 16 台 时 
， 采 用 2 全 I$5023 存储 节点 
。 存储 节点 数量 大 于 
16 时 ， 采 用 更 高 端 
型 号 。 
ED Cn 堆 坏 SEE 
厂 靖 存储 网 绕 后 端 存储 网 络 
安 换 机 1 交换 机 2 
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。 配置 流程 : 
1、 为 每 台 管 理 网 络 交 换 机 的 VLANIR1 配 置 1 个 管理 网 断 IP 地 址 ; 
台 交换 机 配置 SNMP。 后 端 存储 网 络 交 换 机 无 需 任 何 配 置 。 


叶 
站 
当 
时 
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网 络 配置 --GE 交 换 机 配置 N 


。 后 端 存 储 网 络 与 管理 网 络 通过 交换 机 内 的 VLAN 隔 离 
。 后 端 存储 网 络 与 管理 网 络 交 换 机 采用 一 对 35752/35352 


后 端 存 储 网 络 ”后 端 人 存储 网 络 
与 管理 网 络 与 管理 网 络 
交换 机 1 交换 机 2 


仓储 节点 
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。 配置 流程 : 
1、 配 置 两 全 交换 机 为 堆 苇 状态 。 
2、 配 置 VLAN 并 未 管理 网 络 的 VLAN 的 VLANIF 接 口 配置 一 个 管理 网 络 IP 地 址 。 
3、 配 置 S 了 SNMP。 
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.硬件 安装 与 软件 安装 
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9000 便 件 安 装 流 


安装 配套 机 柜 


典型 配置 机 柜 
安装 机 柜 的 保护 
华为 机 柜 地 线 和 电源 线 


安装 可 调节 滑 道 


y 非典 型 配置 机 柜 
安装 浮动 螺母 4 


检查 第 三 方 机柜 是 否 满 足 安装 条 
一 上 方 件 。 对 于 机 柜 内 未 提供 的 组 件 例如 
S13 一 一 7 3 
和 一 人 人 滑 道 、 浮 动 螺母 等 ， 参 考 华为 栅 相 
中 的 安装 步骤 操作 。 
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设备 上 下 电 与 开关 
。 设备 上 电 顺 序 


Er EEC » Cr = 
。 各 设备 电源 开关 


S5352C-y| 


gi 


CE6850-48S4Q-EI 


» \ 
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设备 下 电 顺 序 与 上 点 相反 ， 需 要 特别 注意 ， 在 线 系统 下 电 ， 需 要 先 停止 上 层 业 务 ， 具 
体 要 结合 实际 情况 和 方案 指导 。 
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P 节 点 (2U) 


C 节 点 的 指示 灯 与 P 节 点 

的 指示 灯 完 全 相同 ， 此 

KA 以 P 节 点 为 例 。 | 硬盘 运行 指示 灯 (绿色 常 这 

处 以 P 节 点 为 例 系统 电源 指示 灯 /开机 按钮 ”系统 告警 指示 灯 〈 灭 ) SI 
(绿色 常 亮 ) 硬盘 告警 /定位 指示 灯光 ) 


10GE 交 换 机 CE6850- 
48S4Q-EI 10GE 光 口 指示 灯 40GE 光 月 指示 灯 
(默认 STAT 模 式 下 ， 绿 色 常 亮 ( 默 让 STAT 模 式 下 ， 绿 色 常 亮 ) 


系统 运行 状态 灯 绿色 慢 闪 ) 
堆 登 主 从 指示 灯 绿色 常 亮 
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282 


系统 上 电 后 状态 1 


GE 交换 机 
S5700-52C-SI/ 
S5352C-9| 


InfiniBand 交 换 机 
IS5023 


以 太 网 电 接 口 
工作 状态 指示 灯 
(默认 STAT 模 式 下 ， 绿 色 常 亮 


系统 运行 状态 指示 灯 
(绿色 闪烁 ) 


状态 指示 灯 〈 绿 色 常 亮 
风扇 指示 灯 绿色 常 亮 ) 
故障 指示 灯 〈 灭 ) 


) 


) 





9000 系 统 软 件 安 装 \ 


订 病 业务 网 络 
《加 存储 节点 存 取 文 侍 
的 网 络 》 


交换 机 \、 


i 


SN、 3、 通 过 OceanStor Toolkit 批 量 部 
“~ 轩 OceanStor 9000 软 件 到 所 有 节点 
1、 配 置 交 换 机 NT 


后 端 存 储 网 络 
《存储 节点 内 部 通信 网 络 ) 
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。 O 〇 Cceanstor 9000 的 软件 安 六 方案 要 点 : 
0 执行 软件 安装 前 ， 应 已 完成 硬件 安 六 与 连 线 。 


o 执行 软件 安装 时 ， 需 先 配 置 后 端 存储 网 络 交 换 机 与 管理 网 络 交 换 机 ， 然 后 安装 
Oceanstor Toolkit 到 任意 二 个 存储 节点 (为 方便 管理 ， 请 选取 基础 柜 中 最 下 方 
的 存储 万 点 ) ， 最 后 应 用 (Oceanstor Toolkit 通 过 后 端 存 储 网 络 批量 部 署 
Oceaqanstor 9000 软 件 到 所 有 节点 


o Oceanstor 9000 提 哄 专 用 性 能 与 容量 报表 分 析 工具 Oceanstor 
SystemReporter。 该 报表 分 析 工 具 为 可 选 安装 组 件 ， 且 无 License 限 制 。 当 管理 
网 络 中 存在 二 人 台 满 足 软 硬 件 配置 要 求 的 Windows 服 务 器 时 即 可 安 闭 
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建议 在 安装 前 2 天 启动 


了 


建议 在 安装 前 2 天 启动 


桂 时 佑 计 : 5 分 钟 ~ » 


mS 


耗 时 估计 : 10 分 钟 

( 
ee ty 

时 吞并 15 分 钟 


NW, HuAwel 





上 1 | 士 、 工 口 
安装 流程 


桥 时 估计 : 20 分 钟 


酉 时 估计 ，20 分 钟 


耗 时 估计 : 低 于 20 个 节点 时 ， 耗 时 约 10 分 钟 ; 
20 个 节点 ， 耗 时 约 增加 10 分 钟 ， 


OceanStor SystemReporter 为 专用 性 能 与 凶 
具 。 仅 当 存 在 一 台 满足 和 要求 的 Wi 
耗 时 估计 : 20 分 钟 


WW Huawel 
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软件 与 工具 准备 


Oceanstor ISM-N V100ROOxCOx | Oceanstor 9000 部 署 工 具 
Ar.gz 


APP Oceanstor Oceanstor 29000 系 统 软 件 


9000_V 100ROOxCOx.tar.gz 


mysal-x.x.xx.msi、ISM-N V100ROO1 | 可 选 报表 工具 本 
用 于 上 传 文件 到 存储 六 点 是 如 采用 

FTP 文 件 上 传 工具 ， 如 Filezila Filezila， 仅 需 客户 端 版 本 4 无 需 
Server 版 本 。 


SSH Client 软 件 ， 如 PUTTY 远程 访问 工具 


线 统 一 根 网 线 连接 PC 到 存储 议 备 官 理 网 口 。 


一 根 RS-232 串 口 线 缆 连接 PC 到 分 储 设备 串口 
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。 软件 获取 方式 : 
o 方式 1: 随 设 备 发 货 的 软件 电子 光盘 。 


o 方式 2: 使 用 企业 用 户 账 号 和 密码 登录 http://Supporf.huawei.comy/enterprise 
， 和 选择“ 软件 下 载 > IT > 存储 > 大 数据 和 云 存 储 > 大 数据 存储 > Oceanstor 
9000” 下 载 左 侧 所 有 安 小 包 


获取 记录 系统 组 网 、 节 点 IP 地 址 等 信息 的 配置 文件 XXXX.xls。 此 配置 文件 应 与 硬件 安装 
、 线 缆 连 接 表 等 一 起 ， 和 在 和 硬件 安装 前 通过 OceanStor 9000 网 络 规划 工具 统一 输出 。 


[| 286 


软件 安装 朋 检 查 1 


, , 1. 通 过 KYM 登录 存储 节点 ”| 安装 符合 版 本 要 求 的 
_ SUSE Linux Enferprise 四 
操作 系统 | Server 11 [x86 64 SP1 | 2 执行 命令 cal 操作 系统 ， 或 联系 技 
到 /eftc/SuSE-release 术 服 务 文 持 工 程 师 


:双人 六 2 扩 占 
预 装 部 署 | 参见 《Oceanstor 9000 | ,通过 KVM 登录 存储 节点 | 拟 行 升级 存 入 节 旋 中 


人 全、 人、 
代理 程序 | ”版 本 说 明 书 》 ne 项 装 的 部 署 代 旭 程 序 


Internet Explorer 8 及 以 
上 版 本 ， OIOX 11 及 
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2000 系 统 存储 节操 三 斥 数 目 二 3。 如 果园 时 包 偏 P 节 点 〈 高 性 能 存储 节点 ，2U 高 度 ) 和 
CC 入 扣 (高 市 宽 存 储 节 后 ，4 高 度 ) 乞 则 要 来 两 类 市 点 的 数目 均 大 于 或 等 于 3。 


ea 
符 串 ) 到 配置 文件 中 。 在 后 续 安 六 过 程 中 ， 安 六 程 序 将 以 此 序列 号 唯一 标识 一 个 存储 
万 点 并 分 配 指定 的 | 地址。 


如 未 获取 当前 项 目的 配置 文件 %、 请 记录 机 柜 编号 、 存 储 三 点 编号 和 设备 序列 号 。 


当 由 于 高 度 等 原因 无 法 直接 查看 铭牌 时 ， 您 可 以 通过 KVM 登 录 存 储 节点 后 ， 执 行 命令 
ipmitool fru 获 取 “Produef Serial” 值 。 


对 于 已 配置 IPMI 接 口 IP 地 址 的 存储 节点 ， 您 还 可 以 通过 IPMI 接 口 远 程 登录 存储 三 把 GUI 
管理 界面 后 ， 在 首页 查看 dd 值 。 
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安 交 天 检 查 一 控制 合 要 求 2 


操作 系 | Windows Server 2008 R2 
统 Enterprise SP1 64 位 


Web 浏 | Internet Explorer 8 及 以 上 版 
览 器 ”| 本 ,或 Firefox 11 及 以 上 版 本 
(可 选 ) 
Oceanstor 下 列 TCP 端 口 未 被 占用 : 在 
SystemReporf Windows ”| 停止 或 卸载 对 应 服务 。 
er 报表 服务 器 命令 行 窗口 | 如 果 443 或 80 端 口 已 被 
中 执行 命令 | 占用， 请 不 便 通 过 上 述 
netstat- | 方法 规避 ， 则 可 在 软件 
qno 查 看 当 | 安装 过 程 申 手工 更 改 为 
使 用 其 他 端口 。 





Copyright @ 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 55 NO HUAWEI 


[ 288 0 


MAC :1 EC 
BusID : 
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步骤 1: 用 KYVM 线 绕 连 接 KVM 人 至 任意 一 个 存储 节 局 (如 位 于 基础 柜 最 下 方 的 节操 ) 。 
步骤 2: 执行 命令 iofconfig -qaq， 查 看 eth0 网 口 的 MAC 地 址 。 
步骤 3: 运行 YQst 命 令 ， 选 择 “NetworKIiDevices > Network Settings” ， 敲 回 车 进入 。 


步骤 4: 选择 一 个 网 口 后 ， 查 看 该 网 的 MAC 地 址 是 否 与 步骤 2 中 记录 的 eth0 网 口 的 
MAC 地 址 一 致 ， 如 果 不 一 岛 ,， 请 重新 选择 另 一 个 网 口 ， 直 至 MAC 地 址 匹配 。 


步骤 5: 为 此 网 卡 配 置 一 个 后 器 网 络 网 段 内 的 IP 地 址 和 子 网 掉 码 。 
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部 署 工 具 安 小 


。 上 传 后 安 疹 成 功 后 登录 

















通过 部 嗜 工 具 部 嗜 9000 系 统 (1) 


导入 部 署 软 件 包 
导入 部 署 软件 包 、 醒 置 文件 和 选择 部 署 软件 包 : 


DHCP o 
一 2 已 导入 软件 包 : APP_N9000_V100R001C00B031.tar.9z 


已 导入 软件 包 版 本 号 : V100R001C00B031 
配置 集群 信息 


导入 配置 文件 
配置 节点 信息 通过 导入 填写 后 的 配置 文件 ， 将 其 中 的 配置 信息 与 设备 进行 自动 四 本 EARL 


推荐 使 用 号 入 配置 文件 的 方式 。 下 载 模板 
选择 配置 文件 : 浏览 导入 


节点 
节点 部 要 已 导入 配置 文件 : 


ISM Service Tool 


HUAMWVE1 


所 有 功能 


署 过 程 中 部 署 Serve 检 JP 不 会 zj 这 
部 鸭 
帮助 您 配置 N9000 节 点 信息 ， 完 成 系统 部 署 。 
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步骤 1; 登录 部 署 工具 后 ， 单 击 “ 部 署 ”。 

步骤 2: 单 击 上 方 的 “浏览 ”， 选 择 APP_ceanstor ?000_VYV 100RUOUXCUOx.tar.gz 文件 后 
, 单 击 “ 导 入 ”。 

步骤 3; 单 击 “ 下 载 模板 ”， 将 模板 文件 下 载 到 本 地 。 

步骤 4; 根据 组 网 规划 结果 ， 编 辑 模板 文件 。 


数据 元 余 配 比 : 系统 全 局 缺 省 岂 余 配 比 《部 署 后 管理 员 可 以 手工 调整 任意 指定 空 目录 的 本 
比值 ) 。 缺 省 为 +2， 即 在 将 文件 切 分 为 数据 分 条 时 缺 省 生成 2 个 风 余 分 条 。3N: 
贴 在 设备 前 面板 的 铭牌 上 。 


步骤 2: 单 击 “导入 配置 文件 ”区 域 中 的 “浏览 ”， 选 择 编辑 好 的 文件 后 ， 单 击 “ 导 入 ” 


O 
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通过 部 嗜 工 具 部 嗜 9000 系 统 (2) 


导入 部 署 软 件 包 
导入 部 署 软 件 包 、 配 置 文件 和 选择 部 署 软件 包 : 
DHCP 服 务 配 年 。 已 导入 软件 包 : ”APP_N9000_V100R001C00B031.tar.gz 


已 导入 软件 包 版 本 吕 : V100R001C00B031 
2 了 配 逻 集群 信息 


号 入 配置 文件 


3 配置 节点 信息 通过 号 入 填写 后 的 配置 文件 ， 将 其 中 的 配置 信息 与 设备 进行 自动 匹配 ; 也 可 以 在 后 续 步 骤 中 手动 输入 配置 信息 。 
推荐 使 用 号 入 配置 文件 的 方式 。 下 载 模板 


选择 配置 文件 : 浏览 导入 


节点 
节 旺 吉村 已 导入 配置 文件 : Deploy_N9000_Template_zhxyls 


DHCP 配 置 
要 求 将 “1IP 地 址 范围 ”中 的 地 址 数目 设置 为 集群 节点 数目 的 两 倍 ， 以 确保 每 个 集群 节点 能 够 在 部 署 过 程 获得 IP 地 址 。 
网 卡 : 97.10.10.10 |)* 
IP 地 址 范围 : 97.10.10.20 * 至 | 97.10.10.100 


部 署 Server IP 配 置 
要 求 部 署 Server 的 IP 醒 置 符合 系统 规划 ， 以 确保 在 部 署 过 程 中 部 署 Server 的 IP 不 二 改变 。 
eth0 : 97.10.10.10 
Y| 已 确认 部 署 Server 的 IP 配 置 符合 系统 规划 。 
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步骤 1: 在 “DHCP 配 置 ”区 域 中 的 网 卡 中 选择 部 署 IP 地 址 ， 在 “IP 地 址 范围 ”中 输入 与 部 
署 IP 地 址 (说 明 : 部署 IP 地 址 是 指 实际 部 墨 时 的 后 端 IP 地 址 


) 同 网 段 的 地 址 段 。 注 : 此 IP 地 址 范围 似 在 部 署 过 程 中 临时 使 用 。 待 部 署 成 功 后 ， 各 广 所 
的 iP 地址 修改 为 配置 文件 中 规划 的 IP 地 址 。 


步骤 2: 义 选 下 方 的 复 选 框 ， 连 续 4 次 单 击 “ 下 一 步 ”， 然 后 在 “确定 局 动 部 署 ? ”对 话 框 
中 单 击 “确定 ”。 
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配置 文件 举例 1 一 10GE 网 络 N 


oonCluste 
交 三 | B12. 168.100.1 
255. 255. 255. 0 Fe | 
管理 了 9 缩 网 关 | 10. 110. 100. 1 
管理 IF | 10. 110. 100.2 


节 吉 S|210235cspqzopso0o0011 | 节 吉 名 和 时 四 aworEl [zx 上 10. 110. 100.3 
Rs 人 1 | 


Hy SLT 
是 二 站 里 PgD 


节点 SH |210235c6502055000012 | 节点 名 称 |~ "orz2 mrIP SU oll01o4 | 
机 和 RE | 本位 Sr 2 人 


一 


bond1 和 IO 
bond2 的 由 口 列 


LF 2 
部 六 一 192. 168. 100.6 
是 否 独 立 出 管 天 一 
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集群 名 称 : 集群 的 唯一 名 称 ， 用 于 识别 集群 由 英文 字母 、 数 字 、“-” 和 “_” 组 成 ， 
长 度 在 1 一 15 以 内 的 字符 串 。 As， 不 能 以 “-” 或 “ ”结束 。 
InfoLink DNS: Oceanstor ?2000 内 用 于 实现 InfoLink 特 性 的 DNS 代理 服务 虚拟 IP 地 址 。 
此 IP 地 址 应 属于 前 端 业 务 网 段 。 契 论 是 否 购买 InfoLink 特 性 License ， 软 件 安 装 时 均 需 
要 填写 此 IP 地 址 。 


表 端 网 络 掩 码 、 后 端 网 络 掩 码 s- 管 理 网 络 掩 码 : 规划 网 段 时 输出 的 前 端 业 务 网 段 掩 码 
、 后 凯 和 存储 网 段 掩 码 与 管理 网 段 掩 码 。 


前 端 网 络 网 关 : 安装 程序 将 此 IP 地 址 设置 为 所 有 存储 节点 Linux 操 A ( 
Defqult Gatewdy) 六 请 联系 前 端 业 务 网 络 的 维护 人 员 获 取 此 IP 地 址 。 一 般 情况 下 ， 

当前 端 业务 网 络 交换 机 (如 果 处 于 透明 传输 模式 ， 则 为 相 邻 的 三 层 交换 机 或 路 由 器 ) 
配置 为 堆 苞 状态 时 、 前 端 业 务 网 络 网 关 应 为 交换 机 中 与 存储 节点 相连 接口 所 属 VLAN 的 
VLANIF 地 址 ; 当前 端 业务 网 络 交 换 机 未 配置 为 堆 芭 状 态 时 ， 前 端 业务 网 络 网 关 应 为 交 
换 机 中 与 存储 节点 相连 接口 所 属 VRRP Group 的 Virtuagl IP 地 址 。 


管理 网 络 网 关 : 安装 程序 将 此 IP 地 址 设置 为 所 有 存储 节点 IPMI 接 口 的 默认 网 关 ( 
Defqult Gateway) 。 存 储 节 点 中 IPMI 接 口 的 所 有 数据 收发 由 一 个 独立 服务 控制 ， 所 
以 该 接口 不 受 Linux 操 作 系 统 的 默认 网 天 影响 。 


NIP/Server 地 址 : 选 填 参数 ，NTP 服 务 器 的 IP 地 址 。 使 用 NTP 进 行 时 间 同 步 ， 可 确保 所 
有 存储 节点 中 的 时 间 与 客户 网 络 中 其 他 设备 的 时 间 保 持 一 致 。 您 可 以 将 此 参数 值 保 留 
为 空 ， 待 软件 安装 完成 后 在 Dceanstor DeviceManager 中 的 “设置 > 集群 设置 > 基 
本 信息 > 时 间 配 置 ” 页 面 中 设置 NTP Server 地 址 。 


上 293 中 


怒 置 文件 举例 2 一 10GE 了 网络 


10. 110. 100.5 


a 192 168 100 了 
192. 168. 100.8 序 
一 


1023566892085000014 上 | 号 


0g. 110. 100. 6 


i 


EA 


72.18.0.7 


172. 18.0.8 


192. 168. 100.9 


2 |192. 168. 100. 10 E 
1 和 PIL 


pr pr 一 一 一 一 一 一 一 
上 -个 A LR 
ej ee = | eo. ML 1 
机 0 己 模 信 号 ] 
和 a Ml: A ,| 
区 | 同村 = 小 | 
Py | EDbona 
bo 口 列 | 卖 
pm dd 

b= Bp" 
bor A 
hb ond2f 门 列 | 去 
bo a) 
A L ” pr 1 

| " EA 

f= 上 中 , .UU. 后 ， 4F TT 时 oq | 
pd Ls I 村 这 nF 和 | 
Jt LO 二 四 
pr me - 
小 叶 | 吉 
pr yp 二 
ek AL WH | 

Th ~ WU ry A ] 
十 尼 独 了 了 山 已 过 ppL | | 
pr T= 一 一 一 一 
从 占 S Edy 
EON 路 | a ML LE 
由 力 C I 了 1 
DR 1 、 | 
xd 口 是 右 bond 
rr 
DONGIQ WOTA 
I 一 

hondoRMod iD 

pM Lo A md 

em An le 十 由 十 | PN 1 
后 端 ITP 地 所 WD AD-0 
一 sr Tr "ey | 

TP TP- | 加 | 
, | 
pe - 
) 


| 
oo 
个 


10. 110. 100- 
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。 数据 元 余 配 比 : 数据 切片 存储 时 ， 宛 余 条 市 的 个 数 。 此 配 比 值 将 作为 OceansStor 9000 
中 所 有 目录 的 默认 配 比 值 。 对 于 Oceanster ?2000 中 的 空 目 录 ， 系 统 允 许 在 部 署 后 随时 
调整 配 比 值 。 

o 可 选 值 包括 : 

" 十 1]: 适用 于 对 可 靠 性 要 求 较 低 的 场景 。 指 一 个 数据 分 条 (Stripe) 中 有 NT+ 1 
个 条 带 (Strip) ,可 倪 许 任意 1 个 存 es 影响 数据 完整 性 。 

=。 +2: 默认 值 f 适用 于 大 多 数 场景 。 指 一 个 数据 分 条 中 有 N+2 个 条 带 ， 可 人 允 
许 任 意 2 个 存储 节点 故障 而 不 影响 数据 完整 性 。 此 模式 所 需 最 少 存储 节点 数 
量 为 66 否则 将 降低 宛 余 度 。 

适用 于 对 可 靠 性 要 求 更 高 的 场景 。 指 一 个 数据 分 条 中 有 N+3 个 条 带 ， 
AAS 3 个 存储 节点 故障 而 不 影响 数据 完整 性 。 此 模式 所 需 最 少 存储 节 
点 数量 为 7， 和 否则 将 降低 郊 余 度 。 

sa +4: 适用 于 对 可 靠 性 要 求 最 高 的 场景 。 指 一 个 数据 分 条 中 有 N+4 个 条 带 ， 
可 允许 任意 4 个 存储 节点 故障 而 不 影响 数据 完整 性 。 此 模式 所 需 最 少 存储 节 
点 数量 为 10， 否 则 将 降低 元 余 度 。 

a Tr 仅 当 存储 节点 数目 低 于 20 个 时 考虑 。 指 一 个 数据 分 条 中 有 N+2 个 条 

， 可 允许 任意 1 个 存储 节点 故障 而 不 影响 数据 完整 性 。 


J 仅 当 存储 斑点 数目 低 于 20 个 时 考虑 。 指 一 个 数据 分 条 中 有 NT+3 个 条 
， 可 允许 任 蕊 1 个 存储 三 点 故障 而 不 影响 数据 完整 性 。 
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配置 文件 举例 2 一 10GE 网 络 N 


10. 110. 100. 5 


| 
人 


72. 18.0.5 
72. 18.0.6 
92. 168. 100.7 
92. 168. 100.8 


192.163. 100.7 ”| 关注 
1210235G6BQZ0B5000014 | 区 匡 
和 | 


NODE4 IPH 110 110. i100. 6 
[4 


72.18.0.7 

72. 18.0.8 

92. 168. 100.9 
92. 168. 100. 10 


10. 110. 100- 





~、 
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o 上 面 的 N 数 值 为 一 个 小 于 或 等 于 16 的 正 整 数 ， 由 系统 根据 当前 存储 节点 数目 自动 
计算 得 出 。 
管理 IP : OceansStor 9000 的 管理 地址 ， 即 部 里 完成 后 登录 OceanStor 
DeviceManager 时 所 用 的 IP 地 地 。 在 10G 组 网 和 IB 组 网 中 ， 管 理 IP 属 于 管理 网 段 ; 在 
CE 组 网 中 ， 管 理 IP 属 于 前 端 业务 网 段 。 
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通过 部 嗜 工 具 部 嗜 9000 系 统 (3) 


国 导出 配置 信息 

节点 名 称 节点 类 型 序列 号 
N174 大 容量 节点 210235G6D2Z0C3000024 
N173 大 容量 节点 210235G6D2Z0C2000006 
N175 大 容量 节点 210235G6D2Z0C3000008 


隐 芒 部 署 日 志 

2013-09-20 14:39:18 2102393G6D2ZLUC200U00U6 本 吾 织 件 元 成 
2013-05-20 14:39:18 210235G6D2Z0C2000006 局 动 软件 
2013-05-20 14:39:34 210235G6D2Z0C3000008 安装 软件 包 完 成 
2013-05-20 14:39:34 210235G6D2Z0C3000008 配置 软件 
2013-05-20 14:39:36 210235G6D2Z0C3000008 配置 软件 完成 
2013-05-20 14:39:37 210235G6D2Z0C3000008 启动 软件 
2013-05-20 14:43:24 210235G6D2Z0C2000006 启动 软件 完成 
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步骤 1: 系统 显示 安装 进度 条 ， 请 等 待 约 20 分 钟 s< 安 装 成 功 后 ， 进 度 显 示 为 100%, 状 态 为 
已 完成 。 


步骤 2: 单 击 “ 完 成 ”， 人 在 弹出 的 站 确认 退出 部 署 ” 对 话 框 单 击 “确定 ”， 完 成 
Ocean9Stor 92000 系 统 部 署 。 
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登录 9000 存 储 系统 


1 合 公 空 和 页 - Internet Explorer 


lexplore LN EE) https://EEUEELURLULURY8088/webw 





| ”此 网 站 的 安全 证 书 有 问题 ， 


名 | OceanStor DeviceManager/ 


ee 
2 se 言 i 密码 


6262 
高 级 > > 
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e。 在 PC 机 浏览 器 输入 “hitps://OM 管 理 IP 地 址 :8088/webui” ， 登 录 9000 管 理 控 制 台 ( 
DeviceManagen “( 户 名 为 admin 入 默 雇 密码 为 Admin@sforage ) 


。 如 果 部 署 工 具 无 法 发 现 某 个 节点 ， 请 使 用 KVM 登录 该 节点 后 ， 执 行 命令 sh 
/opt/huawei/deploy/script/deploy%start.sh 党 试 重启 进程 。 


。 对 于 因为 部 署 失败 或 其 他 原因 需要 重新 部 署 的 节点 ， 请 在 重新 部 署 前 ， 执 行 命 令 
/opbt/huawei/deploy/scriptXclean .sh 清理 环境 。 
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附 : 9000 系 统 登 录 信息 


完成 安装 
Oceanstor Toolkit 
后 可 登录 


Oceanstor . . admin/Admin 
Toolki https://xx.xx.xx.xx:8088/tools EGG 


https://xx.xx.xx.xx:8088/webui 其 中 ， 完成 使 用 
Oceanstor “XXx.XX.XX.Xx” 表示 基础 柜 中 最 下 方 存 人 OceansStoloalki 
DeviceMan | 储 节点 NICO 接 口 的 IP 地 址 。 此 IP 地 址 为 i 批量 部 署 
ager 验证 时 临时 使 用 。 软 件 安装 完成 后 ， 请 Ocearisfer 3000 软 
以 配置 文件 中 的 “管理 IP” 代 蔡 。 件 后 可 登录 


https://xx.xx.xx.xx。 其 中 ， ， 
存储 节点 IPMI | “xx xx .xxxx” 表示 存储 节点 I|PMI 接 品 人 
的 IP 地 址 。 storage 


存储 节点 通过 KVM 登 录 存 储 
Linux 操 作 系 Oo ON 节点 或 通过 PuTTY 远 
统 9 坚 登录 存储 节点 
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文 叶 站 靖 号 日 间 硬 (V) 家 全 让 内 工 RD 00 
室 CHR N9000 Manegement Consolesinder 


N9000 FUET Consolec 


集 如 和 名店 

键 建 计 雹 - 

通行 杖 态 - 

版 可 号- OceanStor N9000 V100A001C00 
人 地 (TS ): 16312 78 

息 六 个 数 (个): < 

高 时 区间 ( 个 ); 0 

高 轩 帘 节 点 (个 ): 4 


‘Vi A Qn:,s9:0 


高 户 成 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 66 I HUAWEI 





登录 成 功 后 ， 如 果 健 康 状态 、 运 行 状态 、 版 本 号 、 集 群 容量 、 节 后 个 数 数据 正常 ， 无 
款 急 、 严 重 级 别 告 警 ， 则 表明 软件 安 妆 成 功 。 


293 0 


. 文件 系统 NFS 和 CIFS 共 享 配 置 
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300 


CIFS/NFS 文 件 共 圣 基 本 特性 N 


同时 支持 CIFS 和 NFS 协 议 

兼容 多 种 操作 系统 ， 可 以 实现 异 构 网 络 环境 下 的 文件 资源 共享 
CIF3/NFS 共 享 的 单位 是 目录 ， 所 共享 的 目录 可 被 多 个 客户 端 访问 

以 集群 方式 对 外 提供 共享 服务 ， 节 点 间 可 相互 监控 服务 状态 4 


可 根据 业务 和 市 点 状态 实现 负载 均衡 ， 数 据 访问 在 集群 内 均匀 分 布 
NF> 文 持 Y3，V4 协 议 
SMB 支 持 V1.0，V2.0 
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CIFS 支 持 的 认证 万 式 


。 本 地 用 户 认 证 
o 由 Oceanstor ?000 本 地 进行 接 入 认证 ， 人 允许 规划 的 本 地 用 户 / 用 户 组 
接 入 。 当 启用 了 Guest 用 户 接 入 权限 后 ， 允许 用 户 匿名 访问 共享 目录 ， 
即 用 户 无 需 输入 用 户 名 和 密码 即 可 接 入 OceanStor 9000 Q 
e AD (Active Directory) 域 用 户 认 证 
o 用 户 网 络 中 配置 AD 域 服务 器 ， 由 AD 域 服务 器 进行 接 入 认证 和 % 允 计 合 法 
的 AD 域 用 户 接 入 
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AD 域 服务 器 


则 


OceanStor 


9000 OceanStor 
CIFS 服 务 DeviceManager 


AD: Active Directory, wp 让 
CIFS: Common InternetiFile System， 通 用 Internet 立 件 系 统 
HTTPS: Hypertext TransfeF Pietoeoel Secure， 超 文本 传 辆 安 
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Oceanstor 9000 运 行 时 ， 其 内 置 的 Wwshan 分 布 式 文件 系统 自动 整合 所 有 节点 内 的 硬 
盘 资 源 ， 并 对 外 显示 为 一 个 根 目 录 。 要 使 一 个 或 多 个 Windows 客 户 端 访问 Oceanstor 
2000 内 的 存储 资产， 管理 员 仅 需要 在 根 目 录 下 创建 待 访问 的 目录 ， 并 将 其 授权 给 目标 用 户 
或 用 户 组 。 


Oceaqnstor 9000 同 时 支持 淋 地 认证 与 AD 域 服务 器 认证 两 种 方式 。 采 用 本 地 认证 时 ， 
管理 员 应 提前 在 OceanStors*BeviceMqnqger 中 添加 本 地 认证 用 户 组 与 用 尸 ; 采用 AD 域 
服务 器 认证 时 ， 管 理 员 应 提前 将 Oceanstor 2000 加 入 域 。 

。 配置 流程 : 
0 ”登陆 OceqnsStor9000 管 理 控 制 台 
o 创建 用 于 共享 的 目录 
o ”创建 认证 方式 (本 地 用 户 认证 /AD 域 认证 ) 
5f 创建 CIFS 共 享 


[DD 3030 


淋 加 本 地 认证 用 户 组 与 用 户 《“ 可 选 ) 
@ 


域 认 证 设置 
本 地 认证 用 户 
| 本 地 认证 用 户 姐 | @ 


WiseLink 











Copyright @ 2013 Huawei Technologies Co., Ltd. All rights reserved. WD HUAVWEI 


[ 304 0 


加 入 域 (可 选 ) 


。 先 通过 OceanStor DeviceManager 登 录 系 统 

。 域 环 境 下 ， 需 要 先 将 OceanStor98000 加 入 域 环 境 
设置 > 集群 设置 
基本 信息 辣 ' 设置 域 认 证 参数 


集群 节点 设置 AD 域 SS 


administrator 


test01.com 


服务 管理 


域 认 证 设置 2 


本 地 认证 用 户 


本 地 认证 用 户 组 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 72 


保护 策略 
CA 。 和 


WW Huawel 





如 果 提 示 加 入 失败 ， 请 确认 已 在 “设置 > 集群 设置 > 基本 信息 > 外 部 DNs 配 置 ” 页 面 


中 配置 外 部 DNS 服 务 器 的 IP 地 址 ， 且 确保 网 络 互通 。 
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306 


设置 CIFS 服 务 参数 


基本 信息 全 设计 集群 NAS 妥 务 相关 艺苑。 


集群 节点 巩 立 CIFS 服 务 
保 坊 第 隐 认证 模式 ; 域 模式 


认证 设置 组 9 于 殿中 
9 -me.。 


SN 


域 WE 省 homedl 月 用 
本 地 认证 用 只 noty 宕 用 局 
本 直 认 下 用 户 组 区 名 B 用 自 


InfoEqualizer 强 书 访 名 吧 
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在 无 域 环境 中 ， 请 设置 “认证 模式 ”为 。“ 用 模式 ” 
模式 ”为 “ 域 模式 ”。 


了 
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在 AD 域 环境 中 ， 





\ 主 、 几 


哺 衣 前 


“认证 


多 


小 生理 加 
相间 愉 辣 看 由 时 “7 站 时 或 文人 的 及 不 相克 -克基 地 湖 款 三 这 
于. 


=O 


* 路 径 : | / 选择 


UNIX 权 限 
位 置 : 本 地 
* 所 届 用 户 : default user 


* 所 属 用 户 组 :default_group 
用 户 : YY 该 取 |v| 写 入 
Np 读 取 
其 他 : 3Y| 读 取 
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创建 多 协议 共享 向 导 步 吉 :4-1 


[一 选择 共享 协议 和 路 径 
为 共享 文件 突 选 择 路 径 . 


* 共享 类 型 : NFS ES 
ww| CIFS 


* 共享 路 径 : ， /dir001 
~ 
™ 


‘a 
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。 在 AD 域 环 境 中 ， 如 果 不 局 用 本 地 用 户 认 证 ， 则 无 需 执 行 3、4 、5 步骤 
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My CIFS 共 享 设置 
为 用 户 和 组 设置 CIFS 共 享 的 访问 权限 。 


共享 各 称 : diro01 


用 户 /用 户 组 列表 : 
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本 地 认证 用 户 组 

localgroup01 
CIFS 共 享 设置 * 用 户 /用 户 组 : localgroup01 
为 用 户 和 组 设置 CIFS 共 享 的 访问 权限 。 


* 共享 名 称 : 


localgrou... 
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NW HuAwel 
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CIFS 共 享 设置 
为 用 户 和 组 设置 CIFS 共 享 的 访问 权限 。 


* 共享 名 称 : 
摘 述 : 


用 户 / 用 户 组 列表 : 
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访问 共享 目录 1 \ 


打开 (0) 
y= = | (> 购 映射 网 络 驱 动 器 


Le) 和 LI ' 


请 为 要 连接 到 的 连接 和 文件 夹 指 定 张 动 句 号 : 


驱动 器 (D): 
文件 夫 (D): 


@ 示例 : \\server\share 
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。 请 确保 当前 Windows 客 户 端 与 QceansStor 9000 前 端 业务 网 络 之 间 网 络 互 通 。 
。 下 面 以 Windows 7 操作 系统 为 例 介绍 访问 方法 。 
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访问 共 孚 目录 2 


输入 网 络 密码 输入 网 络 密码 
弹 入 您 的 密码 来 连接 到 : 隔 JE 出 加 输入 您 的 密码 来 连接 到 : 5 于 1 


4 -Hr 


域 : test01.com 
站 记 住 我 的 凭 振 
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。 全 部 操作 已 完成 ， 就 可 以 像 使 用 本 地 文件 系统 二 样 使 用 OceansStor ?000 提 供 的 存储 空 
间 。 
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Oceaqnstor?000 运 行 时 ， 其 内 置 的 Wushan 分 布 式 文件 系统 自动 整合 所 有 节点 内 的 硬 
盘 资 产 ， 并 对 外 显示 为 一 个 根 目 录 。 要 使 一 个 或 多 个 Windows 客 户 端 访问 
Oceanstor?000 内 的 存储 资源 ， 管 理 员 仪 需要 在 根 目 录 下 创建 得 访问 的 目录 ， 并 将 其 授 
权 给 目标 用 户 或 用 户 组 。 


。 配置 流程 : 


口 


口 


口 


建立 ?000 与 客户 端 网 络 和 基于 TCP/IP 的 NFS 通 信 正 常 
登陆 OceanStorm900@ 管 理 控制 人 台 ， 配 置 文件 系统 
创建 用 于 共享 的 目录 

配置 认证 方式 (LDAP 认 证 /NIS 认 证 ) 

在 客户 喘 访 问 NFS 共 享 
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9000 加 入 LDAP 域 (可 选 ) 


保护 第 略 
省 : 192.168.1.10 

服务 管理 : 192.168.1.11 

域 认 证 设置 @ 

本 地 认证 用 户 * 端 口 : 

本 地 认证 用 户 组 * 协议 : LDAP 
* 密码 哈 希 算法 : clear 
* 根 目录 : dc= huawei dc=Eem 


WiseLink 


浅 License 管 理 
ra 绕 定 DN : 01,0u=u,de=hiiawei,dt=com 
mm 绑 定 密码 : seeseee 
再 ee 汪 生 学 人 人 要. 确认 绑 定 密码 : seeeeee 
用 户 所 在 目录 : 由 Gu=u,dc=huawei,dc=com 
用 户 组 所 在 目录 : | ou2g,dc=huawei,dc=com 
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。 在 “LDAP 域 ”区 域 输入 主 用 LDAP 服 务 器 的 iP 地 址 。 


。 “(可 选 ) 分 别 输入 备用 LDAP 服 务 器 1 和 和 2 的 IP 地 址 。 如 果 存 在 备用 LDAP 服 务 器 ， 则 需 
要 执行 此 步骤 。 


。 输入 Oceaqnstor 9000 与 LDAP 服 务 器 通信 所 使 用 的 端口 号 。 端 口号 与 LDAP 服 务 器 侧 配 
置 为 一 致 。 默 认 并 口号 为 389。 


。 选择 Oceanstor 2000 与 LDAP 服 务 器 通信 使 用 的 协议 。 如 果 LDAP 服 务 器 支持 33L， 则 
可 以 选择 LDAPS。 


。 选择 报 文 的 加 密 算法 。QOceanstor 9000 支 持 MD5、Crypt 和 Clear 加 密 算 法 。 

。 输入 LDAP 目 录 的 基准 DN。 首 字母 不 能 是 空格 和 “#” ， 尾 字母 不 能 是 空格 ， 格 式 为 
xxx=yyYy ， 使 用 带 号 分 隔 。 

。 输入 绑 定 DN。 首 字母 不 能 是 空格 和 “#” ， 尾 字母 不 能 是 空格 ， 格 式 为 XxXx=yyy， 使 用 
如 号 分 隔 。 


。 输 永 密码 。 登 录 LDAP 服 务 器 的 密码 ， 需 要 输入 两 次 进行 确认 ， 两 次 密码 输入 要 求 一 致 


O 


。L 输入 一 个 用 户 PDN。 用 户 目录 项 。 
。 输入 一 个 用 户 组 DN。 用 户 组 目录 项 。 
。 单 击 “你 存 ”， 完 成 加 入 LDAP 域 设置 。 


316 中 


9000 加 入 NIS 域 (可 选 ) 


服务 管理 
@ 
本 地 认证 用 产 

本 地 认证 用 户 组 


VWiseLink 
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LDAPIiSE 

* 主 IPitbi : 
备用 IP1 : 
备用 IP2 : 

* 3 站 口 | : 

* Hi : 

* 窗 码 哈 希 算法 : 

* 根 目 录 : 
8EDN : 
8 二 : 


在 “NIS 域 ”区 域 输入 域名 。 例 如 : nisservyeFkeom 


设置 NIS 域 的 域名 。 输 入 主 用 NIS 服 务 器 地 址 。 例 如 : 192.168.10.10 
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售 


设置 Ni 服务 器 的 |P 地 址 。 (可 选 ) 分 别 输入 备用 NIS 服 务 器 1 和 2 的 IP 地 址 。 如 果 存 在 备 


用 NI 服务 器 ， 则 需要 执行 此 步骤 。 
单 击 “保存 ”。 完 成 加 入 NIS 域 设置 。 
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创建 FS 目录 


-zw[mm 


* 路 径 : | / 

UNIX 权 限 
位 置 : LDAP/LDAPS 域 

* 所 届 用 户 : ldapuserl 

x* 所 届 用 户 组 :| Ildapgroupl 
用 户 : v| 读 取 |v| 写 入 

v| 读 取 写 入 

其 他 : v| 读 取 写 入 
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配置 入 口 : Oceanstor 9000 管 理 控制 合 > 资源 分 配 (界面 右 侧 ) > 资产 管理 器 
。 C4 设置 共享 目录 的 所 属 用 户 、 用 户 组 及 权限 


318 0 


NFSs 共 孚 目录 的 权限 管理 


当 客户 端 主机 
和 本 权限 =read-write 时 


| 客户 端 主机 
: 于 本 权限 当 客 户 靖 主 机 
为 此 目录 创建 NFS 共 享 时 : 基本 权限 =read-only 时 
客户 端 主机 
名 级 权限 
no root SaUasS 


注 1: “/” 表 示 二 选 一 ; 国 := 国 雪 示 实 际 生 效 的 权限 项 ， 如 二 者 存在 冲突 时 国人 和 基 级 布 于 国 、 

注 2: 客户 端 主机 可 通过 主机 名 称 、IP 地 址 、IP 地 址 段 、LDAP 域 中 的 网 络 组 或 NIS 域 中 的 网 络 组 定 难 

注 3: all_sdquash 表 示 限 制 所 有 用 户 的 权限 ， 远 程 访问 时 将 这 些 用 户 都 映射 为 区 名 用 户 〈 执 行 请 给 id nobody 可 查看 其 UID ‘User ID) 与 
GID〈Group ID》》; no_all_squash 表 示 保 留 这 些 用 户 的 UID 和 GID。 一般 可 对 公用 且 录 设置 all -Saquash。 

注 4: root_squash 表 示 限 制 root 用 户 的 权限 ， 将 root 用 户 映射 为 匿名 用 户 ; no_root_squash 表 示 不 限制 root 用 户 的 权限 ， 即 客户 端 主机 
中 的 root 用 户 对 共 主 的 目录 具有 完全 权限 ， 仅 当 no_all_squash 时 有 效 。 
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在 LDAP 域 或 Nl 域 环境 中 ， 属 主 、 属 组 可 指定 为 域 用 户 、 域 用 户 组 ， 因 此 您 可 以 在 客 
尸 喘 主机 中 以 此 域 用 尸 或 此 域 用 户 组 身份 登录 并 以 属 主 或 属 组 权限 访问 共享 目录 。 


在 无 域 环境 中 ， 客 户 端 主机 中 的 所 有 用 户 均 以 其 他 用 户 权限 访问 共享 目录 。 
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创建 多 协议 共享 向 导 步 要 :4-1 
ju 选择 共享 协议 和 路 径 
为 共享 文件 夹 选 择 路 径 。 


* 共享 类 型 : [| NFS 4 





CIFS 
* 共享 路 径 : /dir001 选择 


Oceqnstor 9000 对 外 提供 访 癌 
的 文件 共享 目录 
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多 


增加 客户 端 








类 型 : 主机 或 Ip 


* 主机 或 1P: | 192.168.99.0/24 


创建 多 协议 共享 向 导 步 吉 :4-2 


[一 NFS 共享 设置 
为 客户 详 设 置 NFS 共 享 的 访问 权限 。 
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。 如 果 待 添加 的 客户 端的 类 型 为 主机 名 称 ， 则 选择 “主机 名 ” 
。 如 果 答 添 加 的 客户 端的 类 型 为 IP 地 址 ， 则 选择 “IP 地 址 ” 


。 如 果 网 络 环境 中 部 署 了 LDAP 或 NIS 域 服务 器 ， 待 添加 客户 端的 类 型 为 网 络 组 ， 则 选择 
“网 络 组 ” 
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路 一] NFS 共享 设置 
vy 为 客户 举 设 置 NFS 共 享 的 访问 权限 。 


2 Y 
所 属 域 : | LDAP/LDAPS 4 a 人 
og Er 


* 网 给 组 : | group2 
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。 要 在 客户 端 中 人 允许 以 root 用 户 访 问 共 享 目录 ,请 单 击 “高 级 ”， 在 “root 权 限 控 制 ” 中 
选择 “NoO_root_squash” 


。 C2 C3 指定 访问 文件 共享 目录 的 客户 端 范 围 及 权限 
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创建 多 协议 共享 向 导 步 村 :4-2 





= NFS 共享 设置 
汶 宪 产 祷 设置 NFS 共 享 人 访问 权限 。 


创建 多 协议 共享 向 导 步骤 :4-3 





人 二 信息 汇总 
请 确认 您 要 创建 的 共 硬 


失 训 路径: /dir001 
NFS 共 享 : | 一 | 摘 述 : 
客户 端 
可 称 
192.168.99.0/24 


group2 
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。 要 在 客户 端 中 人 允许 以 root 用 户 访 问 共 享 目录 ,请 单 击 “高 级 ”， 在 “root 权 限 控 制 ” 中 
选择 “NoO_root_squash” 
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Linux 客 户 端 访问 共享 


只 192.168.99.11 - PuTTY 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 91 Vb HUAVWEI 





。 有 前提 确保 当前 客户 端 与 Oceanstor 9000 前 端 业务 网 络 之 间 网 络 互 通 
操作 系统 类 型 挂 载 命令 举例 


SUSE、Red Hat mount -t nfs jpaddress:sharedir localdir mount—tnfs 
192.168.100.3:/dir001 /mnt 
Mac OS sudo mount -t nfs jpaddress:sharedir localdir sudo mount -t nfs 
192.168.100.3:/dir001 /Volumes/mount1 
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高 级 特性 
7.1 INfoTier 
7.2 INfoQUota 


7.3 InfoLink 技 术 
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InfoTier 特 性 


。 InfoTier 特 性 包括 的 主要 功能 如 下 : 

o 存储 级 别 : 在 Oceanstor ?000 内 部 根据 节点 类 型 和 硬盘 类 型 对 硬盘 分 
级 ， 相 同等 级 的 硬盘 组 成 一 个 存储 级 别 。 

o 高 低 水 位 策略 : 高 低 水 位 是 指 存储 级 别 中 空闲 空间 占用 硬盘 存储 总 容量 
的 百分比 ，O 〇 Oceanstor 9000 通 过 设置 全 局 统一 的 高 低 水 位 ， 限 制 每 个 
存储 级 别 中 的 文件 迁移 ， 避 免 硬盘 存储 容量 不 足 造 成 的 故障 4 

o 文件 池 策 略 : 通过 设置 文件 属性 与 各 个 存储 级 别 间 的 对 应 关系 ， 定 义 文 
件 在 不 同 存储 级 别 中 存储 和 迁移 的 策略 。 
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InfoTier 特 性 也 称 为 和 目 动 分 级 存储 ， 可 将 存储 空间 划分 为 不 同 的 存储 级 别 ， 根 据 文 件 属 
性 的 区 别 将 文件 存放 在 不 同 的 存储 级 别 忆 ， 满 是 用 户 对 文件 处 理 速度 、 传 输 市 宽 和 存储 容 
量 的 多 样 需 求 ， 以 达到 合理 利用 存储 空间 、 避 升 存 储 系统 访问 性 能 、 降 低 总 体 部 署 成 本 的 
目的 。 


本 特性 是 OceanStor 9000 的 可 选 特性 ， 需 要 获得 License 许 可 才能 获得 该 特性 的 服务 
。 当 未 购买 该 特性 的 License 时 《 OceanStor 9000 只 提供 硬盘 分 级 功能 ， 不 支持 自动 迁 
移 文 件 存储 位 置 ， 管 理 员 无 法 设置 文件 池 策 略 和 高 低 水 位 。 仅 当 Dceansfor ?000 内 部 存 
在 不 同类 型 的 和 点， 并 且 每 种 类 型 的 节点 数量 大 于 或 等 于 3 个 时 ， 才 可 以 开局 分 级 存储 特 
性 实现 自动 迁移 文件 存储 位 置 功 能 。 
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InfoTier 原 理 与 概念 2 


节点 池 

o 具有 茶 一 相同 物理 特征 的 节点 集合 
o 系统 目 动 根据 物理 节操 形成 节 挟 池 
o 不 允许 手工 调整 节点 池 

使 用 节点 池 的 前 提 

o 点 池内 至 少 有 3 个 正常 工作 的 节点 
万 所 闻 的 分 类 


口 


a SAS 观 到 | SATA 岗 ; 
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高 性 能 层 : 由 P 节 点 3AS 硬 盘 组 成 的 存储 级 别 = 通 常用 于 存储 用 户 访 问 频 度 较 高 、 啊 应 
el 


高 市 宽 层 : 由 CC 节点 >ATIA 硬 盘 组 成 的 存储 级 别 ， 通 常用 户 存储 用 户 访问 频 度 较 低 、 传 
输 帝 宽 和 存储 容量 要 求 较 高 的 文件 。 

小 数据 层 : 由 P 节 点 99D 硬 盘 组 成 的 存储 级 别 ， 通 常用 于 存储 小 文件 ， 文 件 处 理 吗 应 速 
度 最 快 ， 但 存储 容量 最 小 。 


高 性 能 节操 池 


oO 由 P 市 挟 组 成 从 应 用 于 文件 读 写 频繁 且 对 读 写 速度 要 求 较 高 的 OPS 密 集 型 应 用 场 
景 
局 市 宽 帮 点 池 
D 由 C 古 点 组 成 ， 应 用 于 对 文件 读 写 带宽 要 求 较 高 的 高 带宽 应 用 场景 


由 于 33D 硬 盘 容 量 较 小 ， 建 议 存放 于 小 数据 层 的 文件 不 大 于 1MB。 


P 节 点 配置 4 块 SSD 硬 盘 ，C 节 点 配置 1 块 SSD 硬 盘 。 但 由 于 OceanStor 9000 软 件 固定 占 
用 一 块 SSD 硬 盘 ， 因 此 C 节 点 的 SSD 硬 盘 无 法 加 入 到 小 数据 层 ， 只 有 P 节 点 可 以 将 3 块 
SSB 昌 硬盘 加 入 小 数据 层 。 
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InfoTier 原 理 与 概念 3 


。 文件 池 
具有 共同 特征 的 文件 集合 
各 个 特征 之 间 是 “与 ”的 关系 
同一 个 文件 可 以 属于 多 个 文件 池 
。 文件 池 策 略 
o 文件 池 如 何在 节点 池 存 放 的 规则 
o 文件 池 策 略 具 有 优先 级 
o 购买 license 才 人 允许 配置 
。 文件 池 策 略 的 使 用 
o 系统 中 最 多 可 配置 128 条 文件 池 策 略 
o 文件 对 应 的 最 高 优先 级 的 文件 池 策 略 才 会 生效 
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InfoTier 原 理 与 概念 4 


高 低 水 位 
节点 池 中 空 用 空间 占用 总 空间 的 百分比 
可 在 ISM 上 配置 ， 对 所 有 节点 池 生 效 
o 高 水 位 默认 为 10% ， 低 水 位 默认 为 5% 
高 低 水 位 使 用 场景 
o 处 于 低 水 位 以 下 时 ， 禁 止 文 件 写 入 / 迁 入 该 节点 池 
o 恢复 到 高 水 位 时 ， 才 允许 文件 迁 入 该 节点 池 
o 处 于 低 水 位 以 上 时 ， 人 允许 文件 与 入 该 和 点 池 
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文件 初始 存放 


。 [匹配 文件 池 策 略 


o 只 匹配 文件 池 特 征 包含 且 仅 包含 文件 路 径 的 文件 池 策略 
o 如 果 同时 匹配 到 多 个 文件 池 策略 ， 选 择优 先 级 最 高 的 
o 通过 文件 池 策 略 确定 存放 的 节点 池 ; 如 未 匹配 到 ， 选 择 空闲 空间 最 藉 


的 
。 确定 节 扩 闻 
o 查询 对 应 的 节点 池 当 前 空 
o 高 于 低 水 位 ， 使 用 该 万 点 池 
o 低 于 低 水 位 ， 使 用 系统 中 空闲 空间 最 大 的 节点 池 
o 节点 池 全 部 处 于 低 水 位 以 下 ， 拒 绝 该 文件 的 与 入 
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文件 迁移 , 


。 迁移 扫 摘 
扫描 起 始 和 结束 时 间 可 配置 ， 缺 省 关闭 扫 摘 
读 取 系 统 内 文件 的 属性 ， 得 到 文件 当前 所 在 的 节点 池 
匹配 系统 内 的 文件 池 策略 ， 确 定 文件 的 目标 节点 池 
判断 文件 是 否 需要 迁移 ， 生 成 迁移 任务 
。 文件 迁移 
o 逐 chunk 进 行 迁移 
在 迁移 过 程 中 ， 不 影响 文件 的 正常 读 写 
迁移 前 后 ， 文 件 的 保护 级 别 不 会 降低 
目标 文件 池 空 用 空间 高 于 低 水 位 
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InfoTier 的 配置 


。 配置 之 前 的 准备 工作 
确认 是 否 购买 了 license 
是 否 存 在 不 同类 型 的 节点 ， 且 每 种 类 型 的 节点 至 少 3 个 
配置 规划 
文件 初始 存放 位 置 
a 有 了 明确 规划 的 按照 路 径 配 置 文件 池 策 略 
。 无 明确 规划 的 不 配置 对 应 的 文件 池 策 略 ， 由 系统 自动 分 配 
文件 后 期 存放 位 置 
" 确定 节点 池 对 应 文件 应 具有 的 属性 : 热度 ， 存 放 路 径 
sa 根据 文件 的 属性 配置 对 应 的 文件 池 策略 
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InfoTier 的 配置 流程 


配置 高 低 水 位 闵 值 
配置 文件 迁移 周期 


查询 分 级 存储 季 点 
对 应 关系 


i 
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配置 高 低 水 位 六 值 :管理 员 通 过 合理 配置 高 低 义 位 策略 ， 限 制 不 同 存 储 级 别 间 的 文件 写 
入 和 迁移 操作 ， 确 保存 储 空间 利用 率 处 于 丛 理 的 水 平 。 


配置 文件 迁移 周期 :管理 员 通 过 配置 文件 迁移 周期 ， 可 使 文件 属性 扫 摘 在 业务 量 较 小 的 
时 间 段 进行 ， 避 免 对 存储 系统 业务 性 能 造成 影响 。 


配置 文件 池 策 略 : 官 理 员 通过 合理 配置 文件 池 策 略 ， 充 分 发 挥 分 级 存储 特性 的 能 力 ， 激 
活 文件 在 不 同 存储 级 别 间 的 自动 迁移 ， 提 高 系统 存储 性 能 ， 降 低 总 体 存 储 成 本 。 


查询 分 级 存储 太 点 对 应 关系 :管理 员 配 置 分 级 存储 策略 后 ， 可 查询 不 同 存 储 分 级 与 物理 
太 凡 的 对 应 天 系 。 


DD 3330 


[| 3346 





局 低 水 位 的 卫 置 


通过 高 水 位 国 值 定义 存储 分 级 空闲 容量 超过 规定 数值 后 ss 是 否 
可 以 恢复 数据 写 入 或 迁 入 操作 。 


高 水 位 


通过 低 水 位 团 值 定义 数据 是 否 可 以 初次 写 入 或 迁 入 指定 的 存储 
分 级 。 


低 水 位 
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系统 默认 的 高 水 位 是 空闲 空间 占用 存储 分 级 硬盘 总 容量 的 10%， 管 理 员 可 以 修改 高 水 位 
国 值 。 

当 存 储 分 级 的 空闲 空间 从 低 水 位 恢复 到 高 水 位 时 ， 将 允许 文件 迁 入 。 

系统 默认 的 低 水 位 阅 值 是 空 用 空间 占用 存储 分 级 硬盘 总 容量 的 5%， 管 理 员 可 以 修改 低 
水 位 阅 值 。 当 文 件 初次 写 入 指定 存储 分 级 时 ， 如 果 该 分 级 的 空闲 空间 小 于 低 水 位 立 值 
， 则 不 能 写 入 该 分 级 ， 而 是 选择 空闲 空间 最 大 的 分 级 写 入 。 

当 文 件 在 迁移 到 指定 存储 分 级 的 过 程 中 ， 如 果 该 分 级 的 空闲 空间 小 于 低 水 位 冰 值 ， 则 
禁止 文件 迁 入 。 


扫 摘 时 上 间 配 置 


| 扫 台 节点 时 ， 从 监控 模块 读 取 文件 池 策略 、 文 件 扫描 起 给 时 间 和 
”| 结束 时 间 ， 到 达 起 始 时 间 时 系统 自动 启动 扫描 


扫 摘 节点 时 ， 从 监控 模块 读 取 文 件 池 策 略 、 文 件 扫描 起 始 时 间 和 
结束 时 间 | 结束 时 间 ， 到 达 结 束 时 间 时 无 论 扫描 是 否 全 部 完成 系统 均 强 制 停 
止 扫 摘 操作 





Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 102 NO HUAVWEI 


起 始 时 间 的 最 小 单位 可 设置 到 分 钟 ， 且 起 始 时 间 和 结束 时 间 最 少 需 间隔 1 小 时 ， 即 阁 起 
始 时 间 设 置 为 点， 结束 时 间 需 设置 和 点 及 其 后 时 刻 。 


起 始 时 间 默 认 设置 为 0 时 ， 即 每 日 0 时 自动 启动 文件 属性 扫描 。 可 根据 局 点 情况 设置 为 
系统 访问 较 空闲 的 时 间 。 


结束 时 间 的 最 小 单位 可 设置 到 分 钟 4 且 起 始 时 间 和 结束 时 间 最 少 需 间隔 1 小 时 ， 即 若 起 
始 时 间 设 置 为 点， 结束 时 间 需 设置 为 1 点 及 其 后 时 刻 。 


结束 时 间 与 起 始 时 间 相 同 认 为 天 闭 扫 插 
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| 


rr 
rr 

CE 
Fri 


通过 监控 在 统计 周期 内 对 文件 的 访问 热度 定 奖 对 应 的 存储 级 别 
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。 |/O 〇 次 数 表 示人 在 指定 的 统计 周期 内 的 访问 操作 次 数 ， 可 定义 的 统计 周期 为 1 天 以 内 一 /天 
以 内 
。 |/O 〇 热度 表示 在 指定 天 数 内 的 数据 访问 热度 ， 可 定义 的 统计 周期 为 1 天 以 内 一 “天 以 内 。 


。 1/O 〇 热度 的 计算 公式 为 “I/O 热 度 =, (访问 子 闻 数 /文件 大 小 ) “100”， 表 示 统 计 周 期 内 
文件 访问 字 节 数 占 文件 自身 大 小 的 百分比 。 设 置 参数 时 只 需 输入 数值 即 可 ， 不 需要 输 
入 ee 
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高 级 特性 
7.1 InfoTIer 
7.2 INfoQUota 


7.3 InfoLink 技 术 
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InfoQuota 技 术 背 太 


配额 技术 是 一 种 基于 用 户 、 用 户 组 文件 存储 管理 
还 支持 目录 的 配额 管理 
使 得 管理 员 可 以 方便 合理 地 分 配 存储 资源 


该 功能 受 License 控 制 
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InfoQuota 诛 理 


以 用 户 和 有 用户 组 统计 在 特定 目录 下 的 文件 占用 空间 
在 内 核 文 件 子 系统 上 实现 
em 


逐 项 进行 配额 的 门限 值 比较 ， 根 据 门 限 值 允许 或 禁止 本 次 
件 操作 

如 果 受 影响 的 所 有 配额 控制 项 允许 ， 请 求 继续 进行 六 并 更 新 
受 影响 的 配额 项 

只 要 其 中 一 项 不 允许 则 返回 失败 
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InfoQuota 类 型 


。 配额 类 型 


o 计算 配额 : 只 监控 存储 空间 使 用 情况 不 限制 使 用 
o ”强制 配额 : 监控 存储 空间 使 用 情况 的 同时 限制 存储 空间 的 使 用 


。 阀 值 类 型 


软 性 阅 值 
硬性 阅 值 
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当 存 储 空间 到 达 建 议 阅 值 时 ，QOCceaqanstor 9000 不 会 限制 数据 写 入 ， 和 EE 报告 警 信息 。 
当 存 储 空间 到 达 软 性 阅 值 时 ， 在 宽 限 时 间 内 QCeqanstor 9000 继 续 允 许 数据 写 入 ， 超 
期 后 Oceanstor ?000 立 即 限制 数据 写 入 ， 同 时 上 报告 警 信息 。 

配置 软 性 阅 值 时 ， 可 同时 配置 宽 限 时 间 。 


当 存储 空间 达到 硬性 阀 值 时 ，O 〇 OceansStor ?000 立 即 人 限制 数据 写 入 ， 同 时 上 报告 警 信 
自 
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印 额 项 


用 尸 组 : group 

日 采 : dir 

建议 阀 值 (GB) : 

软 性 国 值 (GB》: 

宽 限 时 间 (天 ) : 

硬性 交 值 (GB)》: 
配额 项 A 


目录 相同 ， 用 户 属于 该 用 户 
组 ， 配 额 项 A 和 配额 项 B 生 效 的 
配 铅 ， 取 配额 半 值 的 交集 。 
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用 户 :，user 


于 上 1 
日 冰 :; /dr 


建议 网 值 (GB) : 
软 性 国 值 (GB) : 8 


宽 限 时 间 《〈 天 ) 


更 人 性病 值 (GB) : 


配额 项 B 
用 尸 :， user 
日 录 : /dir 


建议 图 但 (GBY : 
软 性 状 值 (GB》:; 


帘 限 时 | 加 XK) 


便 性 闵 值 也 GB》: 


具 效 的 配额 
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创建 配额 项 时 ， 需 要 同时 选择 用 户 / 用 户 组 和 由 录 ， 即 用 户 / 用 户 组 与 目录 路 径 唯 一 确定 


一 个 配额 项 。 


当 创 建 的 多 个 配额 项 的 目录 或 用 户 / 用 户 组 存在 交集 或 子 集 时 ， 


值 的 交集 
配额 控制 可 以 控制 文件 逻辑 存储 容量 


最 终生 效 配 额 取 配 额 靖 


配额 管理 统计 文件 的 逻辑 容量 的 总 和 ， 不 包括 文件 实际 的 物理 存储 容量 开销 和 元 数据 


开销 

可 创建 的 最 大 配额 项 8122 个 

只 人 允许 对 空 目 录 设 置 配 额 
创建 配额 的 目录 深度 最 多 为 8 级 


选择 用 户 /用 户 组 和 目录 ， 即 用 户 /用 户 组 与 目录 路 径 唯一 


多 个 配额 项 存在 交集 或 子 集 时 ， 生 效 配额 取 配 额 值 小 的 


确定 一 个 配额 项 
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InfoQuota 配 置 流程 


创建 用 户 组 
+ 
创建 用 户 
， 
创建 目录 


， 
创建 共享 
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。 已 经 创建 了 待 创建 配额 的 目录 

。 已 经 创建 了 待 创建 配额 的 本 地 认证 或 A 筷 域 用 户 / 用 户 组 
。 行 创 建 配 额 的 目录 为 空 目录 

。 创建 配额 的 目录 深度 最 多 为 8 级 

。 已 创建 的 配额 项 未 达到 最 大 规格 


[| 3420 


配额 类 型 和 阀 值 类 型 
CE 


。 竺 创建 配额 的 目录 。 
配额 路 径 ”|。 可 以 直接 输入 待 创 建 配额 的 目录 名 称 ， 也 可 以 单 击 “选择 ”， 众 已 经 
创建 的 目录 中 选择 配额 路 径 。 


。 待 创建 配额 的 用 户 /用 户 组 名 称 。 
2 
用 户 / 用 户 组 | 。 硒 找 后 选择 已 经 创建 的 用 户 /用 户 组 。 


1.， 计算 配 额 
二 2.， 强 制 配 额 建议 阐 值 
3， 软 性 阔 值 
三 个 阐 值 大 小 依次 递增 ， 最 小 阔 值 单位 为 GB。 
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计算 配额 : 只 监控 存储 空间 使 用 情况 不 限制 使 用 。 

强制 配额 : 监控 存储 空间 使 用 情况 的 同时 限制 存储 空间 的 使 用 。 

强制 配额 阅 值 包括 : 

建议 阅 值 : 当 使 用 的 存储 空间 到 达 建 议 阅 值 时 ， 不 会 限制 数据 写 入 ， 仪 上 报告 警 信息 
软 性 阐 值 ;: 当 使 用 的 存储 空间 到 达 软 性 阐 值 时 ， 上 报告 警 信 息 ， 在 宽 限时 间 内 继续 允 
许 数 据 写 入 ; 超期 后 立即 限制 数据 写 入 ， 同 时 上 报告 警 信 息 。 配 置 软 性 阐 值 时 ， 需 要 
同时 配置 宽 限 时 间 。 

硬性 阅 值 ;: 当 使 用 的 存储 空间 达到 硬性 阅 值 时 ，OceanStor 9000 立 即 限制 数据 写 入 ， 
同时 上 报告 警 信息 。 


3430 


高 级 特性 
7.1 InfoTIer 
/7.2 INfoQUota 


7.3 InfoLink 技 术 
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InfoLink 技 术 背 景 


。 InfoLink 是 客户 端 连接 负载 均衡 特性 ， 用 于 管理 客户 端 连 接 到 Oceanstor 
9000。 

。 客户 端 接 入 Oceanstor 9000 时 ， 将 用 户 请 求 发 送 到 相对 空闲 的 节点 ,4 保 
障 了 客户 端的 访问 效率 

。 当世 点 出 现 故 障 时 ， 使 用 故障 切换 功能 ， RN 
分 散 到 其 他 节点 ， 提 高 了 系统 可 靠 性 
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InfoLink 功 能 原理 


DNS 服务 区 
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中 客户 端 使 用 域名 访问 Oceanstor 9000， 发 送 域名 解析 请 求 到 DNS 服务 器 


@ DNS 服务 器 判断 该 域名 需要 由 Oceanstor 9000 解 析 ， 将 解析 请 求 发 送 到 Oceanstor 9000 
进行 解析 。DN9 服 务 器 转发 解析 请 求 的 目的 IP 地 址 为 Oceanstor 9000 的 DNS IP 地 址 


@) Oceanstor 9000 在 域名 所 对 应 的 分 区 内 部 ， 按 照 负 载 均衡 策略 选择 节点 ， 并 将 该 节点 
的 IP 地 址 返回 给 DNS 服务 器 


@@ DNS 服务 器 将 万 点 IP 地 址 返回 给 客户 端 


G@) 客户 端 使 用 该 I|P 地 址 访问 Ocaanstor 9000 


售 


InfoLink 基 本 概念 -- 分 区 


: example.com 
SIX1 Croot) 
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假设 分 区 1 为 root 分 区 ， 客 户 端 可 以 使 用 Infoliak 根 域名 “example.com” 接 入 root 分 
区 ， 也 可 以 使 用 “defaulf.example.com ” 接 入 该 分 区 。 分 区 2 为 手工 创建 分 区 ， 分 区 名 
称 为 “Cluster_Zone_1”， 域 名 配置 为 “XYyz”， 客 户 端 使 用 域名 “xyz.example.com” 
接 入 该 分 区 。 


多 个 忆 点 组 成 的 集合 ， 可 以 为 分 区 配置 客户 端 接 入 的 域名 ， 以 及 分 区 内 部 各 节点 的 负 
载 均 衡 方式 。root 分 区 为 默认 分 多， 由 系统 目 动 创建 。 


当 新 节点 加 入 集群 时 ， 将 自动 分 配 到 root 分 区 。 客 户 端 可 以 使 用 管理 员 配 置 的 InfoLink 
根 域名 接 入 到 root 分 区 ，InfeLink 根 域名 是 为 集群 配置 的 域名 ， 该 域名 必须 配置 为 全 称 域 
名 ， 即 包括 根 节 点 在 内 的 域名 。 

可 以 手工 创建 其 他 分 区 将 节点 划分 到 指定 的 分 区 。 需 要 为 各 分 区 配置 域名 ， 客 户 端 
使 用 分 区 域名 接 入 到 相应 的 分 区 。 该 域名 是 InfoLink 根 域名 的 下 级 域名 。 分 区 的 域名 配置 
为 相对 域名 ,， 自动 将 InfoLink 的 根 域名 作为 分 区 域名 的 后 级 ， 组 成 分 区 的 全 称 域名 。 最 大 
文 持 32 个 分 区 。 
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InfoLink 负 载 均衡 策略 


轮 询 方式 

= 按 顺 序 选择 节点 处 理 客户 端 连接 请 求 

CPU 使 用 率 

o 选择 CPU 使 用 率 最 低 的 节点 处 理 客户 端 连接 请 求 
节点 连接 数 

= 选择 客户 端 连接 数量 最 低 的 节点 处 理 客户 端 连 接 请 求 
节点 吞吐 量 

= 选择 吞吐 量 最 低 的 节点 处 理 客户 端 连接 请 求 

节 扣 综合 负载 


o 按 节 点 综合 负载 选择 节点 处 理 客 户 端 连接 请 求 
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。 根据 CPU 和 网 络 负载 计算 节点 综合 负载 ， 负 载 越 低 则 被 选中 的 概率 越 高 
。 在 未 打开 license 该 功能 项 时 ， 系 统 使 用 轮 询 方式 进行 负载 均衡 
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根 域名 ，example.com 
DNS IP: 192.168.1.10 


前 端 IP 地 址 池 分 区 1 (root) 


| 192.168.0.20 ; 
| 192.168.0.25 ! 


| 192.168.0.30 ; 
| 192.168.0.35 ! 


| 192.168.0.40 ; 
! 192.168.0.45 ! 


| 192.168.0.50 
| 192.168.0.55 ! 
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为 节点 分 配 静态 前 端 |P 地 址 和 动态 前 端 |P 地 址 

o 静态 前 端 IP 地 址 ”该 IP 地 址 固定 分 配给 某 一 个 节点 

0 动态 前 端 IP 地 址 该 节点 故障 后 该 IP 可 以 自动 分 配 到 其 他 工作 正常 的 节点 
配置 前 端 IP 地 址 池 ， 用 于 为 万 点 分 配 动 态 |P 地 址 
。 使 用 动态 前 端 |P 地 址 实现 故障 切换 功能 





349 0 


故障 切换 


根 域名 : example.com 
DNS IP: 192.168.1.10 
分 区 1 (root ) 


:192.168.0.10 : 192.168.0.30 
:192.168.0.15 492-168:0-25-、、192.168.0.35 
192.168.0.20 192.168.0.25 ; 


,192.168.0.40 192.168.0.50 
,192.168.0.45 192.168.0.55 
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。 节点 故障 后 ， 为 其 分 配 的 动态 IP 地 址 将 被 回收 分 配给 其 它 正常 节点 
。 故障 三 点 恢复 正常 并 重新 上 线 后 ， 将 为 该 卫 点 重新 分 配 一 个 新 的 动态 IP 地 址 


. 各 果 当前 PP 地 址 池 中 、 入 有 空 闪 的 动态 IR 地 址 上 时， 将 从 同一 分 区 中 动态 IP 地 址 最 多 的 节点 
迁移 动态 iP 地址 到 恢复 正常 的 节点 ， 保 证 该 节点 正常 工作 


。 为 了 避免 此 类 地 址 切换 给 在 线 业 务 审 来 影响 ， 建 议 配 置 的 动态 上 地址 个 数 是 接 入 前 端 网 
络 的 接口 数量 的 两 倍 
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故障 切换 对 业务 的 影响 


。 CIFS 协 议 


。 客户 端 会 记录 存储 系统 的 状态 ， 因 此 发 生 故 障 切换 后 将 导致 连接 中 断 ， 客 户 端 需 
要 再 次 连接 存储 系统 


。 NFS 协 议 
。 NFS V3 协议 “客户 端 每 次 访问 存储 系统 时 将 自动 重新 连接 存储 系统 ， 因 此 关 F 


端的 连接 不 会 受到 影响 


o NFS V4 协议 与 CIFs 协 议 类 似 ， 客 户 端 将 受到 影响 ， 需 要 客户 端 重 过 
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InfoLink 配 置 流程 


检查 DNS IP 地 址 


a = 


+ 


检查 WiseLink 状 态 


配置 WiseLink 根 域名 
创建 分 区 
迁移 节点 
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.检查 DNS IP 地 址 : InfoLink 特 性 需要 OceansStor 9000 同 客户 端 提供 域名 解析 服务 ， 


此 需要 配置 DNS 代理 |P 地 址 。 在 部 署 @ceaenStor 9000 时 ,已 配置 该 IP 地 址 ， 此 时 需要 
检查 IP 地 址 是 否 正确 。 


配置 IP 地 址 池 : InfoLink 特 性 中 , os 点 将 通过 IP 地 址 池 中 的 iP 地址 和 客户 端 通信 。 添 加 
IP 地 址 后 ， 该 IP 地 址 会 自动 分 配给 节 扩 。 


检查 InfoLink 状 态 : 在 部 署 @QceanStor 9000 时 默认 已 开 户 InfoLink， 此 时 需要 确认 
InfoLink 已 开启 。 


配置 InfoLink 根 域名 : 客户 端 可 以 使 用 根 域名 接 入 OceanStor 9000。 


创建 分 区 :为 了 便 玫 管理; 管理 员 可 以 创建 多 个 分 区 。 每 个 分 区 可 以 作为 独立 的 管理 单 
元 ， 配 置 负载 均衡 策略 和 域名 。 


迁移 节 挟 : 当 省 理 员 创 建 了 多 个 分 区 时 ， 可 以 将 root 分 区 下 的 节 所 迁移 到 新 创建 的 分 区 
中 


O 


总 结 


大 数据 存储 硬件 组 成 和 软件 特性 
Oceanstor 9000 系 统 典 型 组 网 
Oceanstor 9000 软 硬件 安装 
NFS 和 CIFS 配 置 部 团 

Info 系 列 特性 原理 与 配置 
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售 


(选择 题 ) 2000 系 统 中 NFS 协 议 支 持 的 认证 方式 有 : 0) 
A、LDAP; B、NIS C、 客 户 端 认证 ; D、AD 域 认证 


(选择 题 ) 9000 V100R001 版 本 组 网 支持 以 下 哪些 ? © 
| 


LL 


A 、 前 端 10GE 后 端 B ; B、 前 端 10GE 后 端 10GE ; C、 前 端 B 后 端 


3 


D 、 前 端 IB 后 端 10GE 
(判断 题 ) 9000 所 有 节点 都 可 以 提供 NFS/ClFS 服 务 ? 
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360 


目标 


。 学 完 本 课程 后 ， 您 将 能 够 : 
了 解 N8500 问 题 处 理 流 程 
o 掌握 N8500 常 见 问题 及 故障 的 处 理 方法 
o 具备 集群 NA> 典 型 故障 分 析 处 理 能 
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钨 目录 


N8500 故 障 处 理 的 原则 、 方 法 
N8500 故 障 处 理 的 流程 
N8500 分 类 故障 以 及 典型 问题 处 理 方法 
N800 故 障 处 理 采 例 
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故障 处 理 原则 


先 外 部 后 内 部 


乞 遍 级 后 低级 


元 其 任 厂 个 别 
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。 故障 处 理 的 原则 : 


[| 362 [0 


o 首先 排除 外 部 设备 的 问题 。 外 部 设备 问题 包括 光纤 、 网 线 、 客 户 设 备 和 挥 电 等 问 


题 ， 内 部 问题 包括 产品 部 件 的 故障 问题 。 


0 在 分 析 告 警 时 ， 应 该 按照 级 别 的 优先 级 依次 进行 分 析 ， 如 先 分 析 紧 急 级 别 的 告警 


， 再 分 析 重 要 和 警告 级 别 的 告警 。 


5 在 分 析 告 警 时 ， 应 先 分 析 是 个 别 问题 还 是 共性 问题 ， 确 定 问题 的 影响 范围 。 需 要 


确定 是 一 个 模块 出 问题 ;还 是 多 个 模块 出 现 类 似 问题 。 


故障 处 理 万 法 . 


看 告警 信息 蔡 换 怀疑 工作 不 正 
对 性 能 数据 的 分 析 常 的 部 件 
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。 故障 处 理 万 法 
0 当 系 统 发 生 故 障 时 ， 一 般 会 伴随 有 大 量 的 告警 信息 产生 ， 通 过 
合 对 性 能 数据 的 分 析 ， 可 大 概 判断 出 所 发 生 故 障 的 类 型 和 位 置 。 
0 兰 换 法 就 是 使 用 一 个 工作 正常 的 部 件 去 蔡 换 一 个 怀疑 工作 不 正常 的 部 件 ， 从 而 达 
到 定位 故障 、 排 除 故障 的 县 的 。 这 里 的 部 件 可 以 是 一 段 光 纤 跳 线 、 一 根 网 线 、 一 
个 电源 模块 或 者 一 个 风 属 模块 。 


只 
my 
oF 
只 | 
了 
cll 
六 
加 


DD 3630 


@ 目录 


。 N8500 故 障 处 理 的 原则 、 方 法 

。 有 N8500 故 障 处 理 的 流程 

。 N8200 分 类 改 障 以 及 典型 问题 处 理 方法 
。 有 N8500 故 障 处 理 和 案例 
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N8500 故 障 处 理 流程 


于 解 故 隘 基 本 信息 


查看 引 欧 的 硬盘 和 接口 查看 服务 状态 
的 指示 灯 
Support 用 户 汪汪 人 


查看 存储 单元 系统 和 接 查看 集群 元 SS 


口 状态 指示 灯 
Master 用 户 登 录 人 储君 
奉 看 全 LU i 党 信 忆 \ 


查看 RAID、LUN、 侯 盘 、 
POOL 和 文件 系统 状态 
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N8500 信 息 收 集 


。 故障 发 生 时 ， 需 要 第 一 时 间 收 集 故障 相关 信息 ， 主 要 包括 : 


o 故障 发 生 的 具体 时 间 

0 故障 现象 的 详细 描述 

o N8000 设 备 的 版 本 
故障 后 已 经 采取 的 措施 和 结果 
客户 业务 组 网 环境 、 目 前 业务 情况 
收集 N8000 设 备 的 日 志 信息 


Copyright @ 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 7 


。 N8000 设 备 的 版 本 包括 : 


o 集群 NA 引擎 软件 的 版 本 
0 存储 单元 的 软 硬 件 版 本 
0 ISM 省 理 软件 的 版 本 


。 收集 N8000 设 备 的 日 志 信息 包括 : 


0 集群 NA> 引 擎 的 gebuge 信 息 
0 存储 单元 的 日 忘 信息 
90 ISM 管 理 软 件 的 日 记 信 息 





NW, HuAwel 


操作 系统 相关 的 所 有 关键 事件 


引擎 的 nefwork，storaqge 服 务 所 产生 的 
事件 日 志 


引擎 系统 升级 中 的 过 程 


引擎 扫描 磁盘 操作 中 搜集 的 相关 信息 和 
关键 事件 

CIFS 共 享 操作 相关 的 集群 管理 服务 操作 
及 相关 事件 


NFS 共 享 代 理 操 作 相 关 的 集群 管理 服务 
操作 及 相关 事件 


/var/VRTSvcs/log Engine_A.log VC39 集 群 日 志 
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故障 分 析 定 位 和 排除 


。 故障 分 析 判 断 和 定位 
o 通过 对 收集 的 信息 进行 分 析 ， 从 众多 可 能 原因 中 找 出 故障 原因 的 过 程 ， 
通过 故障 分 析 ， 可 以 确定 故障 范围 、 故 障 种 类 、 故 障 发 生 的 具体 原因 以 
及 故障 排除 的 手段 。 9 
。 故障 排除 
o 是 指 采 取 适 当 的 措施 或 步骤 清除 故障 、 恢 复 系统 及 业务 的 过 程 , 具体 的 
方式 有 检修 线路 、 更 换 硬 件 、 修 改 配置 数据 、 重 新 局 动 服务 或 应 用 程序 、 
替换 损坏 文件 、 重 新 局 动 系统 、 修 复 文件 系统 及 服务 等 
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故障 分 析 定 位 的 主要 万 法 
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。 原始 信息 分 析 


o 主要 用 来 判断 故障 的 范围 、 确 定 故障 种 类 ， 原 始 信息 分 析 可 以 为 缩小 故障 的 定位 
范围 和 初步 定位 问题 提供 依据 


。 指示 灯 状 态 分 析 


0 系统 硬件 (如 集群 系统 、 洲 储 系统 ) 都 提供 了 相应 的 运行 、 状 态 和 特性 指示 灯 ， 
可 以 直接 反映 硬件 的 王 作 状况 ， 是 故障 分 析 和 定位 的 重要 依据 之 一 


0 指示 灯 状 态 分 析 用 于 快速 查找 硬件 故障 原因 ， 由 于 指示 灯 所 包含 的 信息 量 相 对 不 
足 ， 应 与 告警 信息 分 析 配 合 执行 


警 信息 是 指 系统 输出 的 告警 信息 ， 通 常 以 指示 灯 、 声 音 、 屏 幕 输出 等 形式 提供 
给 维护 人 员 ， 具 有 简单 、 明 了 的 特点 


0 “告警 信息 本 可 能 引起 故障 的 原因 、 修 复 建 以 等 ， 是 故障 分 析 的 重要 
依据 之 一 ， 可 通过 告警 信息 定位 故障 发 生 的 位 置 和 大 致 原因 


369 0 


故障 分 析 定 位 的 主要 万 法 


原始 信息 分 析 
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9 ”告警 信息 是 指 系统 输出 的 告警 信息 ， 通 常 以 指示 灯 、 声 首 、 屏 幕 输出 等 形式 提供 
全 维护 人 员 ， 具 有 简单 、 明 了 的 特 扣 


o 告警 信息 包含 故障 现象 、 可 能 5 引起 故障 的 原因 、 修 复 建 议 等 ， 是 故障 分 析 的 重要 
告警 信息 定位 故障 发 生 的 位 置 和 大 致 原因 


o 本 系统 提供 详细 的 日 志 记 录 功 能 ， 故 障 分 析 时 可 通过 日 志 信 息 了 解 系统 运行 状况 。 
相对 于 告警 信息 ， 刁 志 信 息 更 详细 和 具体 ， 可 直接 用 于 定位 故障 发 生 的 原因 


。 消息 跟踪 分 析 
”消息 跟踪 可 用 于 分 析 上 网 流程 和 设备 间 消 息 交 互 流程 。 利 用 跟 踩 结果 ， 维 护 人 员 
可 直接 定位 故障 原因 ， 或 从 中 得 到 局 发， 为 后 续 分 析 提 供 宝 贵 的 思路 


370 中 


钨 目录 


。 N8500 故 障 处 理 的 原则 、 方 法 

。 N8500 故 障 处 理 的 流程 

。 N8500 分 类 故障 以 及 典型 问题 处 理 方 法 
。 有 N8500 故 障 处 理 架 例 
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集群 NASs 系 统 故障 分 类 


引擎 节 氮 硬件 故障 引擎 节 点 软件 故障 存储 单元 故障 





~“ 
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。 N80005| 擎 三 点 硬件 故障 主要 包括 : 
0 太 凡 控制 器 的 硬件 故障 
0 下 点 接口 卡 的 故障 ， 包 括 业 务 端口 接口 卡 故 障 和 连接 后 端 存储 单元 的 接口 卡 故 障 
0 节点 系统 硬盘 故障 
0 太 扩 电源 和 风 属 故障 
。 5| 擎 节 扣 软件 故障 主要 包括 : 
o 引擎 软件 安装 和 登录 故障 : 无 法 通过 master 账 号 登录 、CLl 登 录 异 常 、 引 擎 之 间 的 
信任 天 系 寞 章 
0 集群 容 销 故 障 : 物理 路 径 异 常 导 致 的 业务 挂 死 、 节 点 异常 导致 的 集群 挂 死 


0 功能 使 用 故障 : iofencing 功 能 故障 、 文 件 系 统 故 障 、cifs 应 用 故障 、NFS 应 用 故障 


372 | 


集群 NAS 系 统 故障 影响 N 


5| 擎 万 挟 硬 件 故 障 5| 擎 太后 软 件 故 障 存储 单元 故障 


BS、 
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集群 NASs 暴 型 故障 诊 继 


后 端 存 储 故 障 引 起 系统 异常 
引擎 节点 硬件 故障 引起 系统 异 弟 
内 部 通信 和 链 路 问题 诊断 

管理 模块 问题 诊断 
文件 系统 故障 诊断 

文件 读 写 性 能 问题 诊断 

NFS 挂 载 和 访问 问题 诊断 

CIFS 挂 载 和 访问 问题 诊断 

网 络 问题 诊断 


dl 
. 


pa 
- 
4. 
>. 
6. 
fs 
8. 
Ea 
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外 本 ， Hr pw 启动 阵列 故障 处 理 济 程 
存储 单元 RAID 或 LUN 故 障 - 晶 动 阵列 故障 处 理 流程 


4 0 ow th Hy hs ke | 17 | 阵 囊 dd bi 处 理 ,人 可 
‘A “ bw, 仔 储 4 元 挖 症 堆 故障 A "1 NIT EV 
9 | 党 个 能 扫描 到 LUN ;© S 


EY hf 4 oe hh TH AN 
引擎 和 存储 单元 之 间 的 链 路 故障 、 己 允 陡 列 改 隐 处 理 流 和 


后 六 在 傅 族谱 


存储 端 电池 故障 。, 己 动 阵列 改 际 处 理 流程 
op A ee $1 7- ed he ,TH 2 Fm 
引擎 和 存储 单元 之 问 的 链 路 故障 人 但 可 由 汉 取 际 处 理 流 


Ey - pe Dl Hr We 外 D2 口 
; 人 凡人 于 且 丁 阵 作 | 议 风 [个 于 1 放 杜 
人 ww 下 全 笠 9 树 YIFFIIIM 人 FE 


调 加 C8ehe 水 位 、 读 写作 
VT 
仔 储 单 元 参数 配置 个 风 瑟 呆 葡 分 杀 深 限 


调整 RAID 配 置 
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1. 判断 是 否 由 于 后 端 存储 单元 的 原因 导致 业务 申 断 ， 首 先 需 要 确认 FC 网 络 是 否 正常 ， 然 
后 确认 引擎 能 否 发 现 磁盘 ， 然 后 再 从 存储 单元 侧 发 现 原因 。 





2. 如 果 性 能 下 降 首 先 检 查 业 务 网 络 的 性 能 情况 (需要 检查 业务 交换 机 ) ， 其 次 需要 检查 
文件 系统 参数 配置 情况 ， 然 后 查看 FC 网 络 的 速率 和 运行 情况 ， 最 后 查看 存储 单元 LUN 的 
运行 情况 ， 包 括 LUN 的 参数 是 否 和 业务 匹配 ， 如 果 都 没 问 题 ， 需 要 检查 RAID 组 是 否 降 级 
或 者 处 于 重 构 状态 ， 如 果 也 没 问题 ， 需 要 检查 RAID 组 中 是 否 存在 慢 盘 。 


[| 372 0 


、5 引 擎 蔬 点 硬件 故障 引起 系统 异 单 


CPU 故障 、 坦 看 省 警 信息 ， 喝 换 CPU 


内 存 故障 - 平 新 拨 捅 内 存 、 更 换 内 存 


。 引擎 无 法 月 动 或 重启 | 主板 故障 ”更 换 主板 
水 地 硬盘 故障 | 下 新 人 





赴 重新 安装 系统 


林地 硬盘 故障 - RAID 组 处 于 降级 状态 ， 更 换 故 障 使 帘 


有 节点 发 生 于 局 


I ,小 站 其 他 节点 导 到 由 
由 于 业务 切换 到 其 他 节点 导致 注 节 点 也 困 大 ~ 省 点 性 能 不 中 
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。 9| 擎 市 点 的 硬件 故障 问题 ， 可 以 参考 通用 的 服务 器 故障 诊断 和 处 理 流程 
I1910 Infrusion detected. Check chassis cover 
E1414 CPU# temp exceedingrange. Check CPU heafsink 
E2118 Unrecoverable MemMmory CRC error. Power cycle AC 
E1812 Hoard drive ##TéMoved.Check drive 
E1310 Fan## RPMexXxceedingrange. Check fan 
E1610 Power SUpply%# (### W) Missing. Check power supply 
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3、 集 群 NASs 内 部 网 络 问题 ， 


A 侣 看 | | 志 信 息 
a 办 心 连接 中 m mt 
了 可 之 同 忆 哟 迁 护 中断 证 新庄 接 心中 网 络 





| 引擎 及 II 
iofencing 示 开启 < 
月 用 ofencing 


.物理 连接 中 断 ， 系 新 连 线 
所 有 引 丈 与 存储 单元 的 链 路 完全 中 ET 
所有 引擎 与 存储 单元 的 链 路 完全 中 断 ~， 违 率 协商 识别 ， 检 查 光纤 六 执 义 


引 莹 不 能 扫描 到 在 使 前 元 的 夏 直 | A / 
"党 不 能 得 措 到 在 信 多 的 本 组 Sanbus、mount 操 作出 现 hang 住 或 者 业务 中 断 。 Kf 





理 连 掖 中 胃 - 迹 娠 
PT 
— RR TN 


但 看 误 码 素 
引擎 与 存储 单元 的 链 路 异常 ~ | 重新 拔 邱 光 纤 链 路 
折光 
检查 引擎 与 存储 单元 间 的 光纤 2 和 
1 查看 存储 单元 的 其 机 头 囊 过节 


性 能 下 降 [8 





引擎 与 存储 单元 之 问 链 路 速 闵 低 - 
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集群 NAS 的 内 部 网 络 包括 引擎 之 间 的 心跳 网 络 < 引擎 与 存储 单元 间 FC 网 络 和 存储 单元 
控制 框 与 硬盘 框 之 间 的 连接 。 


[DD 377 0 


内 部 通信 链 路 问题 分 析 和 处 理 方 法 


。 5 引擎 之 间 心 跳 网 络 故障 


1、 停 止 业 务 

2、 修 复 心跳 网 络 

3、 配 置 iofencing 硬 盘 ， 引 擎 识别 到 iofenciage 硬 盘 ， 但 
是 不 用 加 入 pool 


4、 局 用 iofencing 功 能 ， 重 局 整个 集群 
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sSUPoort 账 户 登录 节点 ， 输入 VxXdctl -c mede ， 如 果 显 示 每 个 节点 都 是 主 节点 ， 表 
明 已 经 发 生 脑 裂 ， 需 要 修复 心跳 ， 并 局 用 iofencing。 如 果 发 生 脑 裂 ， 需 要 立即 停止 业务 ， 
否则 将 会 导致 数据 异常 。 


[| 378 0 


多 


内 部 通信 链 路 问题 分 析 和 处 理 方 法 


。 5| 擎 与 存储 单元 的 链 路 故障 


角 沁 广 


ne 检查 该 节点 的 系统 状态 
、 碍 看 该 节点 的 HBA 卡 的 状态 并 恢复 正 


、 检 查 所 有 存储 单元 的 状态 


ee 、 查 看 所 有 存储 单元 与 引擎 的 FC 连 税 状态 ， 如 果 
I 有 存储 单元 的 FC 连接 异常 ， 需 要 修复 连接 。 
mount 操 作 时 挂 


死 、 在 引擎 主 节点 的 support 模 式 jR， 通 过 kill 命 令 
删除 Scanbus 进 程 


4、 重 局 主 节 点 
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。 引擎 在 执行 Scanbus 扫 摘 磁 一 后 ， 磁 盘 在 示 些 贡 点 上 面 异 党 ， 有 可 能 荣 个 引擎 与 存储 单 
元 的 FC 链 路 异常 。 


。 在 有 多 套 存 储 单元 时 ， 如 果 执 行 ScQnbus、mount 操 作 ， 节 点 长 时 间 没 有 反应 ， 有 可 
能 某 个 存储 单元 与 所 有 引擎 的 FC 链 路 异常 。 


上 379 0 


内 部 通信 链 路 问题 分 析 和 处 理 办 法 


更 换 光纤 线 、 光 模块 和 FC 主 机 口 

、 更 换 控制 器 
引擎 、 存 储 单元 | 1、 登录 存储 单元 ， 查 看 HBA 卡 的 连接 状态 和 速率 ， 
与 光纤 交换 机 的 | 修改 HBA 的 连接 状态 为 点 对 点 或 着 交换 机 模式 
协商 问题 、 登 录 光 纤 交 换 机 ， 更 改 端口 模式 
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。 如 果 引 擎 病 和 存储 单元 侧 都 没有 发 现 明显 的 问题 ， 可 以 查看 FC 光纤 网 络 的 误 码 率 和 光 
纤 线 的 质量 情况 。 


。 如 果 引 擎 和 存储 单元 之 间 通 过 光纤 交换机 连 
之 间 的 速率 协商 情况 。 


。 如 果 是 硬盘 框 或 者 硬盘 框 的 与 控制 框 连 接 故 障 ， 可 以 参考 表格 中 第 2 条 处 理 。 


， 可 以 检查 引擎 、 光 纤 交 换 机 和 存储 单元 


新 


380 


管理 模块 问题 


,Ww。 ,资源 蜡 常 _ 全 看 日 访 
MCS 中 的 生理 和 源 flne G[ heres 命 手 动 自动 管理 六 
consolelP 与 网 络 中 的 P 有 冲突 
master 用 户 不 能 登录 集群 ”consolelP 所 在 的 网 口 没有 接 网 线 或 者 处 于 shutdown 状 态 
【用户 名 和 密码 被 修改 
存储 单元 本 身 故 障 
ISM 界 面 不 能 发 现存 储 单元 | 存储 单元 的 管理 IP 和 用 户 名 密码 被 修改 








用 登录 故障 |e 


consolelp 所 在 的 风口 发 物理 故障 
1 物理 故障 /| 管理 接口 极 发 生物 理 才 了 
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站 381 口 


党 理 模块 问题 解决 万 案 


console 口 所 在 的 物理 网 
连 上 网 线 ， 等 待 1 分钟 后 重新 登录 
卡 没有 连 网 线 


console 地 址 与 网 络 上 其 | 1、 通 过 KVM 修 改 console 地 址 
他 主机 有 冲突 2、 修 改 冲 突 主 机 上 的 IP 地 址 


1、 通 过 hagrp -stat | grep Man 
2、 通 过 hagrp -online 
资源 offline SD 
ManagementConsole -sys N8300_01 命 


令 上 线 
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集群 NAS 文 件 系统 故障 故障 N 
人 


GE 交换 机 故障 x 
光纤 交换 枫 卜 障 


机 房 停电 等 绎 各 


和 


文件 系统 置 位 
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。 文件 系统 故障 处 理 原则 : 
0 问 客 户 确 认 故 障 现象 、 时 间 、 上 故障 前 执行 的 操作 、 是 否 出 现 继 发 掉 电 、 交 换 机 故障 
等 事故 ; 
0 ”按照 链 路 、 存 储 单元 、 文 件 系 统 的 顺序 逐步 排查 ; 
0 出现 RAID 失 效 、 误 删 LUNx 文件 系统 需要 fsck 等 重大 故障 ， 需 要 联系 技术 文 持 人 员 
0 ”处 理 完成 后 ， 务 必 收 集 debuginfo 供 定位 根 因 。 


站 “383 


集群 NAS 文 件 系统 故障 分 析 和 处 理 步 又 


步骤 一 : 确认 引擎 和 存储 单元 间 的 链 路 是 否 正 剃 
0 登录 N8000， 执 行 storage disk list paths， 查 看 每 个 节点 链 路 状态 


Do 若 存 在 非 active 的 链 路 ， 恢 复 链 路 后 执行 storage scanbus， 手 动 online 文 
件 系 统 以 


又 二 : 登录 存储 单元 ， 确 认 存 储 单元 状态 
查看 是 否 有 存储 单元 故障 ， 参 考 存 储 单元 故障 处 理 内 容 。 
是 否 误 删 N8000 文 件 系统 在 用 的 LUN， 请 联系 技术 文 持 


是 否 误 删 映射 ， 恢 复 LUN 映 射 ， 执 行 storage scanbus， 文 件 系统 可 自动 
恢复 ， 若 无 法 恢复 ， 联 系 技术 支持 。 
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注 : 上 述 storqge disk list paths，storage“seanlbbus， 人 命令 均 通 过 mqster 账 户 登 录 到 
N8000 命 令 行 界面 执行 。 


集群 NAS 文 件 系统 故障 分 析 和 处 理 步 又 


步骤 三 : 通过 master 账 号 登录 引擎， 确认 是 否 文件 系统 故障 


o 手动 online 文 件 系统 ， 如 果 online 成 功 ， 则 恢复 业务 ， 收 集 debuginfo 信 
忌 


o 如 果 无 法 online， 查 看 文件 系统 标志 位 
o 如 果 文 件 系统 需要 做 fsck， 请 联系 技术 支持 。 
步骤 四 : fsck 完 成 后 ， 手 动 online 文 件 系统 


o 如 果 可 以 ， 收 集 debuginfo 供 技术 支持 定位 原因 ; 如 果 丰 能 ,8 则 重启 系 
统 再 尝试 online ， 执 行 过 程 时 请 联系 技术 支持 。 
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查看 文件 系统 标志 位 时 ， 使 用 Support 账 户 登 录 N8000 ， 执 行 echo “8192B.p S” | 
fsdb -+ vxfs ; /dev/vx/rdsk/sfsdg/sfsvel| grep flag， 其 中 sfsvol| 为 文件 系统 名 ， 可 能 的 
显示 为 fags 0 mod 0 clean 3c 或 flags 4000 mod 0 clean 3c， 如 果 flags 最 后 一 位 出 现 1， 
则 文件 系统 被 置 位 ， 需 要 使 用 fck 命 令 进行 修复 。 


注 : 手动 online 文 件 系统 时 ， 使 用 maosfer 账 户 登 录 到 N8000 命 令 行 界面 ， 执 行 sforage 
fs online fsname， 其 中 fname 为 故障 文件 系统 名 。 命 令 成 功 返 回 后 ， 使 用 Storage fs list 
命令 确认 该 文件 系统 状态 为 online。 


[| 385 0 


386 0 


存储 单元 原因 


中 外 部 原因 由 


中 文件 系统 原因 9 


中 链 路 原因 


业务 模型 变更 
客户 端 增加 
组 网 变更 


客户 端 原 因 
网 络 环境 不 稳定 
网 络 配置 不 当 


业务 压力 全 布 乐 均 
配置 不 当 
文件 系统 使 用 不 于 


NU HUAWEI 





文件 读 写 性 和 
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文件 系统 性 能 下 降 时 ， 应 按 


0 业务 变更 原因 


o 外 部 原因 

0 存储 单元 原因 

0 链 路 原因 

0 集群 NA 引擎 原因 


rm 口 困 
照 


原因 分 析 


按 优 先 级 择 F 
除外 部 原因 | 


按 优 先 级 排除 
存储 单元 故障 


控 优 先 级 排 
除 链 路 故障 


探 优先 级 排 


除 引 淀 故 说 


从 外 到 内 、 从 下 到 上 的 顺序 进 


一 仆 
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文件 读 与 性 能 问题 诊 


。 原因 分 析 
o 原来 只 有 顺序 读 写 业 务 ， 现 在 变 成 了 随机 读 
o 原来 有 只 有 读 业 务 ， 现 在 加 入 了 写 业 务 ; 
o 原来 有 10 路 用 户 并 发 ， 现 在 更 多 路 用 户 同 时 并 发 ; X 


o 其 他 复杂 业务 变更 。 
。 处 理 意 见 


a 由 于 业务 类 型 的 变化 而 造成 的 流量 上 的 下 降 属 正 常 现象 ， 无 吉 
埋 。 
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文件 读 与 性 能 问题 诊断 -存储 音 元 原 医 


查看 磁 横 
利用 率 


comp 查看 
好 信息 


查看 存储 控制 
常数 据 流 处 理 磁 益 
模块 故障 

检测 LUN 的 透 

写 回 写 策略 


恢复 控制 查看 存储 单元 
二 电大 持 ) 开 预 取 策略 


紧 固 或 更 换 光 所 也 策略 羔 换 寻求 研发 
纤 线 站 技术 支持 处 理 电 池 控 制 
故障 


修改 预 取 策略 
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。 原因 分 析 
0 磁盘 故障 : 出 现 慢 盘 、 磁 盘 出 现 坏 道 
p_ 光 模 块 故障 : FC 端口 误 码 率 很 高 
0 控制 器 故障 
oo_ LUN 变 透 与 造成 写 性 能 平 降 
p_ 预 取 策略 变化 造成 读 性 能 下 降 


DD 389 0 


文件 读 瑟 性 能 问题 诊断 思路 -引擎 原因 


。 原因 分 析 
文件 系统 
存储 及 文件 系统 参数 配置 不 
yw 
文件 系统 存放 大 量 小 文件 ， 
并 且 文 件 系统 利用 率 大 于 
809% ， 造 成 检索 速度 下 降 
集群 状态 : IP 地 址 在 集群 各 
节点 上 分 布 不 均匀 恢复 集群 状态 寻求 研发 支持 
服务 状态 (NFS/CIFS) 参数 
设置 不 当 。 到 新 设置 服务 
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。 存储 单元 配置 建议 : 


口 


口 


口 


SAS、FC 盘 配置 ? 盘 、11 盘 RAID5，9 盘 RAID 条 带 深度 128KB，11 盘 464KB 

SATA、NL-SAS 盘 配置 10 盘 或 12 盘 RAID6，10 盘 RAID 条 带 深度 128KB，12 盘 64KB 
RAID 组 不 跨 框 ,保险箱 盘 单独 创建 RAID 

LUN 尽 量 不 要 超过 161TB， 写 设置 肖 用 回 写 镜像 ， 预 期 策略 -采取 智能 预 取 


Lun 归 属 控制 配置 ，a) 索 统 只 创建 一 个 RAID 组 ，SATA 盘 : 该 RAID 组 的 LUN 都 归属 于 一 
边 控 制 器 ;SAS/FC 纺 | 一半 归 属于 A 控 ， 另 一 半 归 属于 B 控 。b) 系统 创建 的 RAID 组 多 
于 1 个 ， 同 一 RAID 组 的 LUN 归 属于 同一 控制 器 ， 不 同 的 RAID 组 交 蔡 归属 于 A 探 和 B 探 。 


。 文件 系统 配置 建议 : 


口 
口 


口 


[ 3900 


条 带 文件 系统 celumns 数量 不 超过 8， 防 止 数 据 过 于 离散 

tripeunit 选择 2048，blocksize 选 择 8192 

每 个 POoIl 对 应 一 个 RAID 组 ， 即 一 个 Pool 里 面 的 disk 由 一 个 rgqid 组 的 lun 组 成 
创建 条 带 / 镜 像 条 带 / 条 融 镜 像 文 件 系 统 ，columns 数 量 与 rgid 组 个 数 一 致 


在 实际 配置 时 ， 从 可 靠 性 和 故障 恢复 速度 方面 考虑 ， 文 件 系 统 大 小 建议 不 超过 64TB。 具 
体 视 文件 大 小 决定 ， 对 小 文件 〈 平 均 文 件 大 小 <1M) 存储 应 用 ， 不 超过 16TB ， 文 件 越 小 ， 
建议 创建 越 小 容量 的 文件 系统 。 


建议 单个 文件 系统 存放 文件 不 超过 1 亿 ， 目 录 层 度 不 超过 10 层 ， 每 个 目录 下 不 超过 10 万 
个 文件 或 目录 。 


7、NFS 挂 载 和 访问 问题 


挂 吉 NFs 时 参数 设置 不 正确 
客户 端 防火 墙 开启 。. 需 要 根据 节点 /ete/services 中 内 容 开 启 相 应 的 端口 
、/ 曾 王 代 本 中 凡 lolservic86 二 站 下放 用人 下 站 中 


_- 
SA 


ny 
客户 端 设置 个 止 傅 /6 gba。 安庆 的 P 地 直 不 在 Ne000 的 多 许 攻 
一 | 认证 没有 通过 


客户 端 无 法 ping 通 N8000 


客户 端 E jN8000 之 间 的 防火 墙 打开 。 需要 根据 节点 /ete/services 中 内 容 } 


业务 交换 机 故障 
网 络 链 路 故障 或 者 网 线 故障 ~ S[ 网 线 故障 
DNS 服 务 器 无 法 连通 


NFS 服 务 放 障 [FS 各 在 其 四 节点 异常 
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[| 391 0 


NFS 挂 载 和 访问 问题 总 结 


。 NFS 挂 载 和 访问 问题 常见 问题 包括 : 
o 客户 端 原因 : 挂 载 参数 错误 、 防 火 墙 原因 、 权 限 问 题 。 
o 网 络 原因 : 无 法 ping 通 N8000 的 虚拟 IP;，DNS 服 务 器 无 法 连通 ; 
网 络 链 路 不 稳定 。 
o N8000 原 因 : NFS 服 务 或 虚拟 IP offline; 文件 系统 故障 ;VNFS 相 天 
服务 资源 异常 。 
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当 客户 端 无 法 挂 载 nfs 共 享 时 ， 确 认 N8000 的 防护 墙 是 否 天 闭 ， 可 执行 iptables -Ff 天 闭 


之 。 同 时 在 客户 端 使 用 howmounf -elP, 查看 N8000 的 Nfs 共享， 确认 该 客户 端 是 否 在 
共享 允许 的 权限 范围 内 。 


另外 ， 查 看 NFS 相 关 服 务 状态 的 方法 为 XM SupPPort 登 录 N8000， 执 行 命令 hagrp -state 


| grep NFS， 查 看 是 否 出 现 offline 或 者 faulted 状 态 。 


[| 392 中 


8、CIFS 挂 载 和 访问 问题 诊断 


挂 载 CIFS 时 参数 设置 不 正确 
客户 端 防火 墙 开启 ”需要 打开 137、138、139 和 445 端 口 


客户 端 设 壮 不 正确 局 


客户 端 无 法 ping 通 N8000 
究 户 端 与 N8000 之 间 的 防火 墙 打 开 。, 志 要 打开 137、138、139 和 445 端 口 


有 业务 交换 机 故障 
网 络 故 陋 | 网 络 链 路 故障 或 者 网 线 故 障 cf 网 线 下 随 


www ， 域 控 和 DNS 服务 器 故障 ， 需 费 
轨 近 和 DNS 服 务 吕 天 法 于 通 [各 税 和 DNS 服 务 吕 元 法 连通 


NFS 服 务 关 闭 ， 常 要 打开 NFS 服 
> NFS 服 务 在 某 些 节点 异常 ， 尝 讽 NE 整 个 集 和 和 
虐 拟 IP 的 状态 offline， 手 动 online 虚 拟 IP 节 
虚拟 IP 故障 ~| 虚拟 IP 所 在 的 物理 网 口 故 障 ， 更 换 故 障 的 物理 网 口 
IP 地 址 冲突 ， 修 改 冲 突 的 lp 地 地 、 令 
文件 系统 故障 ~ 
CIFS 资 源 故 障 


CIFS 服 务 故障 


多 节点 ID 不 一 致 


samba 故 障 
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CIFS 挂 载 和 访问 问题 总 结 


。 CIFS 模 块 问题 常见 问题 包括 : 
o 客户 问 原 因 : 挂 载 参 数 锯 误 、 防 火 墙 原因 、 权 限 问题 
o 网 络 原因 : 无 法 ping 通 N8000 的 虚拟 IP; DNS 服 务 器 出 现 问 题 ， 


网 络 链 路 不 稳定 


o N8000 原 因 : CIFS 服 务 或 虚拟 IP offline; 文件 系统 故障 ;CIFES 相 
天 服务 资源 异常 
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CIFS 应 用 分 为 Normaql 和 homedir 两 类 ,在 问题 处 理 前 首先 需要 确认 故障 种 类 。 
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9、NAS 网 络 问题 


虚拟 IP offline 或 者 default 手动 online 或 者 出 除 车 加 





| 路 由 配置 异常 重新 配置 路 由 % 


， 集群 网 络 配置 异常 | 
BOND 模 式 异 常 ”删除 重建 bond， 并 确保 能 够 与 交换 机 匹配 





域 控 或 DNS 服 务 器 异常 。, 宽 要 先 恢复 域 控 或 DNS 服 务 器 





1 拭 控 或 者 DNS 服务 器 异常 | 5 霹 拉 或 DNS 服 务 器 的 连接 蜡 常 检查 客户 端 、N 扩 0Q 司 的 壬 接 是 否 正 常 











网 络 环境 出 现 丢 包 
S| 网 络 中 是 启用 防火 增 
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NAS 网 络 问题 诊断 总 结 


排除 诬 拟 
IP 问 题 


今 可 bond 本 置 


含 查 网 络 状态 


寻求 研发 支持 
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。 网 络 问题 比较 复杂 ， 需 要 逐一 排 
o 文件 系统 、 共 至 服务 是 否 正 常 
o ”虚拟 IP 是 否 正 常 (是 否 有 offlineNXfQulfed 状 态 ) 
o 路 由 是 否 正确 配置 
o DNS、 域 控 是 否 正常 或 正确 配置 
9 Bond 模 式 是 否 正确 配置 
po 网 络 环境 是 否 存在 干扰 飞 丢 包 、 乱 序 、 重 传 等 ) 


中 396 1 


多 目录 Ss 


。 用 8500 故 障 处 理 的 原则 、 方 法 

。 N8500 故 障 处 理 的 流程 

。 N8200 分 类 故障 以 及 典型 问题 处 理 万 法 
。 N8500 故 障 处 理 案 例 
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案例 1: 定理 模块 无 法 登录 


。 问题 摘 述 : 
o 客户 反映 无 法 通过 master 登 录 集 群 ， 显 示 该 账号 不 可 用 
。 原因 分 析 : 
1、 通 过 终端 可 以 ping 通 管理 console 地 址 以 


2、 通 过 KYM 连接 到 集群 ， 通 过 sUpport 账 号 登录 集群 ， 使 用 hostcifus - 
sum | grep Man 查询 状态 为 offline， 执 行 hagrp -online 
ManagementConsole -sys testN8300_01 

3、 在 集群 的 Upport 账 号 下 ， 使 用 ethtool 查 看 管理 网 口 的 物理 状态 。 通 
过 在 主机 端 检 查 arp - q 发 现 consoleip 的 mac 地 扯 书 是 集群 管理 网 口 
的 mac 地 址 ， 表 了 明 网 络 中 的 ip 地 址 有 冲突 
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。 解决 步骤 : 在 网 络 管理 人 员 的 协助 下 ， 找 到 并 修改 地 址 冲突 的 那 谷 主机 的 IP 地 址 。 
。 验证 恢复 : 重新 登录 集群 ， 通 过 masteér 用 户 可 以 正常 登录 集群 。 
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案例 2 \ 


。 问题 及 故障 摘 述 
o 集群 在 设置 |O fencing 后 ， 重 局 整个 集群 ， 出 现 部 分 节点 无 法 加 入 集群 的 情况 ， 
此 现象 概率 出 现 


。 原因 分 析 
有 


因此 不 允许 直接 重启 整个 集群 。 若 必须 将 所 有 节点 都 进行 重启 ， 请 下 次 号 重启 一 
个 节点 ， 待 该 节点 完全 启动 并 可 以 提供 业务 时 ， 再 重启 下 一 个 节点 ,和 直到 所 有 节 
点 全 部 重启 完毕 ， 且 可 以 正常 提供 业务 


。 处 理 步 又 
o 该 现象 发 生 后， 重启 未 能 加 入 集群 的 节点 即 可 修复 
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案例 3 


。 问题 及 故障 朱 述 
0 在 有 NFS 业 务 时 ， 重 启 一 个 业务 市 点 后 ， 一 个 文件 系统 offine， 导 致 该 
文件 系统 不 可 访问 


。 原因 分 析 C 
o 重启 节点 与 主 节点 的 时 间 不 一 致 导致 ， 集 群 为 保护 文件 系统 一 致 性 ， 强 


制 将 文件 系统 标志 位 设置 为 1， 引 | 起 文件 系统 offline 


。 处 理 步 又 
o 登录 到 集群 管理 界面 的 torage 模 式 下 ， 使 用 fs fsck fs108g 命 令 进行 文 
件 系 统 修复 ， 修 复 完成 后 需要 使 用 fs online fs1009 的 命令 将 文件 系统 
上 线 
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。 如 果 fs fsck 命令 无 法 成 功 执行 ， 需 要 使 用 support 账 户 登 入 集群 节点 ， 首 先 使 用 
cfsmntadm display 命 令 查 看 文件 系统 是 否 依然 mount， 如 果 依 然 mount， 使 用 cfsumount 


命令 印 载 文件 系统 
。 在 suport 账 户 下 ， 使 用 fsck =-t vxfs。~o full -y /dev/vx/dsk/sfsdg/fs100g 命 令 对 文件 系统 做 
全 校 验 


。 使 用 fs online fs100g 命 令 上 线 文件 系统 


0D 460 口 


案例 4 \ 


。 回 题 及 故障 摘 述 
o 把 一 个 节点 从 集群 删除 后 再 加 入 集群 ， 该 节点 的 NFS 共 享 服务 fault， 业 
务 IP 无 法 切换 到 该 节点 


。 原因 分 析 以 


o 在 添加 一 个 新 的 节点 加 入 集群 时 ， 必 须 保 证 该 节点 是 全 新 安装 的 汶 点 ， 
否则 由 于 原来 删除 的 节点 依然 保留 有 原 有 集群 的 信息 ， 可 能 导致 发 生 异 
常情 况 

。 处 理 步骤 

o 出 现 此 问题 时 ， 执 行 nfs server start 命 令 重启 NFS 服 务 即 可 将 虚拟 IP 

online 到 新 加 入 的 节点 
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案例 5 \ 


问题 及 故障 摘 述 
0 ”将 系统 时 区 从 GMT+8 改 为 G6MT+9， 系 统 时 间 应 该 增加 一 个 小 时 ， 实 际 
情况 是 减少 了 一 个 小 时 ， 反 之 亦 然 


原因 分 析 4 


0 ”该 问题 是 由 于 linux 下 的 时 区 修改 和 windows 的 处 理 方式 不 一 致 导致 的 

处 理 步 又 

0 ”出 现 该 现象 时 ， 立 即 进 行 系统 时 间 修 改 ， 修 改 时 区 会 导致 允 件 系统 全 
部 挂 掉 时 区 修改 应 在 系统 安装 完毕 后 立即 修改 
使 用 clock timezone 设 置 时 区 时 直接 使 用 时 区 名 进行 设置 ， 不 要 使 用 
GMT 时 间 进 行 设置 
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。 设置 时 区 时 先 使 用 clock regions 命 令 查找 到 设备 所 在 地 所 属 的 时 区 ， 软 后 使 用 clock timezone 
clock Easten 设置 时 区 即 可 


402 0 


多 


案例 6 


。 问题 及 故障 摘 述 
o ”使 用 fs _ online 命令 online 一 个 offline 状 态 的 文件 系统 时 ， 提 示 该 文件 系 


统 “Filesystem is already online 


。 原因 分 析 AL 


。 由 于 文件 系统 在 节点 上 mtab 信 息 丢 失 ， 但 cfs 层 挂 载 点 正常 ， 而 人 ist 合 
令 是 检测 系统 mount 信 息 判 断 文件 系统 是 否 online 的 ， 因 此 显 志 文件 系 
统 为 offline ， 而 fs online 是 检测 cfs 层 挂 载 点 状态 ， 因 此 导致 无 法 online 
文件 系统 


。 处 理 步 又 
0 出 现 该 现象 时 ， 可 以 在 support 用 户 下 ， 将 该 文件 系统 信息 手动 加 入 
/etcmtab 文 件 中 ， 则 文件 系统 可 以 正常 显示 为 ofiline 
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。 和 右 依 然 无 法 恢复 ， 观 察 故 障 文 件 系统 上 是 否 仍 有 业务 运行 ， 耕 有 则 先 将 业务 中 止 ， 随 
后 在 CLI 下 执行 f offline fsname 操 作 将 文件 系统 下 线 ; 接着 再 执行 fs online fsname 操 作 
将 文件 系统 上 线 ， 即 可 解决 。 
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案例 7 


问题 及 故障 摘 述 
o ”对 未 创建 快照 的 文件 系统 进行 删除 时 ， 提 示 有 快照 存在 不 可 删除 
原因 分 析 
o ”删除 文件 系统 未 成 功 时 会 报 出 此 提示 ， AS 
错误 提示 信息 有 误 
处 理 步 又 
尝试 再 次 执行 fs destroy 命 令 删 除 文件 系统 
如 果 无 法 删除 则 使 用 support 帐 户 进 入 调 测 模式 ， 使 用 如 下 命令 删除 文 
件 系 统 
使 用 cfsmntadm display 命 令 查 看 文件 系统 对 应 的 挂 载 点 是 否 存 在 ， 如 
果 存 在 则 使 用 cfsumount /Vx/ 文 件 系 统 名 称 命令 卸载 映射 
使 用 cfsmntadm delete /Vx/ 文 件 系 统 名 称 命令 删 除 挂 载 点 
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案例 8 


。 占 题 及 故障 摘 述 
o 集群 增加 节点 后 ， 客 户 端 挂 载 点 不 可 访问 
。 原因 分 析 
o 该 问题 是 由 于 新 加 入 的 文件 系统 没有 mount， 导 致 该 节点 NFS 服 务 为 ( 


faulted 状态 ， 从 而 使 客户 端 无 法 访问 共享 
。 处 理 步 又 


o 首先 在 support 账 户 使 用 cfsmntadm display 下 查看 文件 系统 挂 载 情况 ， 如 
果 mount， 在 master 账 户 使 用 nfs server start 命 令 重启 NFS 服 务 即 可 修复 
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。 如 果 没 有 mount， 在 master 下 使 用 fs online fs 人 stfip 使 得 文件 系统 上 线 ， 在 使 用 nfs server 
start 命 令 重启 NFS 服 务 修复 

。 NFS 服 务 恢复 正常 后 ， 等 待 约 5 分 钟 后 (车 节点 数 和 网 口 数 较 多 ， 请 适当 增加 等 竺 时间 
) ， 如 果 IP 依 然 没 有 分 布 到 其 他 节点 ， 需 要 手动 使 用 ip addr online 命 令 重新 分 布 IP 


Se 
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。 N8500 故 障 处 理 的 原则 、 方 法 

。 N8500 故 障 处 理 的 流程 

。 N8500 分 类 故障 以 及 典型 问题 处 理 思 路 
。 N8200 故 障 处 理 肥 例 


Copyright © 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 47 CD HUAWEI 





0D 406 0 


N8500 的 故障 分 类 主要 可 以 分 为 哪 几 类 ? 

N8500 的 主要 日 志 有 哪些 ? 分 别 在 什么 路 径 下 ? 
N8500 内 部 网 络 链 路 异常 诊断 时 需要 注意 什么 ? 
N85000 文 件 系统 共享 异常 通常 的 原因 有 哪些 ? 
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人 
Ye, 
:2 


www.huawel.com 


Thank you 





HC1209206 大 数据 存储 系统 维护 与 
故障 诊断 
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HC1209206 
大 数据 存储 系统 维护 





掌握 OceanStor 9000 系 统 日 第 维护 方法 : 巡 检 、 信 息 收 、 状 态 检 
但 
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多 


氏 目录 


1. Oceanstor 9000 这 检 
2. OceanStor 9000 信 息 收 集 
3. Oceanstor 9000 日 常 维护 
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安装 Toolkit 


步骤 1: 获取 工具 安装 包 ， 解 压 HUAWEI OceanStor Toolkit 
V100ROO1CxxSPCxxx.zip 包 。 


说 明 : 解压 到 的 路 径 不 能 包含 中 文字 符 。 
双击 解压 文件 中 的 start.exe 打 开工 具 。 
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OceanStor Toolkit 是 OceanStor 9000 的 软件 工具 





NW Huawel 


人 巡 检 1 ， 


步骤 1: 单 击 “设备 ”> “添加 ”， 输 入 存储 系统 的 管理 IP 地 址 ， 然 后 
时 击 “下 一 步 ” 


添加 设备 步骤 2-1: 基本 信息 
基本 信息 
请 输入 IP 地 址 和 代理 ， 支 持 IPv6。 


添加 方式 
~ | OceanStor Toolkit e) 指定 |P 地 址 (指定 设备 管理 |P 地 址 进行 添加 ) 


局 0ceanStor Toolkit 


所 有 功能 设备 支持 工具 Store IP 地 址 : py 
批量 导入 ”获取 导入 模板 指定 IP 段 (指定 设备 管理 IP 地 址 段 进行 洪 加 ) 


代理 选择 
e) 不 使 用 代理 
SSH 跳 转 


Socks5 
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过 检 2 


步骤 2: 在 “用 户 名 ”中 输入 “root"， 在 “ 密 添加 设备 步骤 22: 配置 信息 
码 ” 中 输入 “Root@storage” 后 单 击 “ ”| 配置 信息 


请 输入 设备 的 用 户 名 、 密 码 和 庙 口 。 
完成 ” 。 登录 信息 
RAP: [| | 
步骤 3: 单 击 “ 完 成 ”， 显 示 设 备 列表 。 密码 : 
端口 : 22 
需要 进入 调试 模式 


Ocean9torToolkit 
所 有 功能 > 支持 
本 加 批量 导入 铂 取 导入 模板 
台数 : 1 迄 中 数 : 0 


设备 型 号 设备 版 本 号 设备 名 称 Jp 地 址 FM 
OceanStor9000 V100R001C OceanStor 9000 C Node 99.99.60.11 210235G78P20C8000011 
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步骤 4: 选择 “所 有 功能 > 维护 > 巡 检 及 续 保 检查 ”。 
步骤 5: 选择 “实时 巡 检 ”， 单 击 “下 一 步 ”。 


还 检 向 导 步骤 5-1: 欢迎 


欢迎 使 用 设备 近 检 功能 

本 向 导 通 过 选择 设备 、 选 择 检 查 项 、 设 置 检查 第 跑 、 抉 行 巡 检 四 步 锋 ， 帮 助 您 完成 对 阵列 、NAS、VIS、CSS、CSE 等 设 
选择 设备 备 的 巡 检 。 

注意 


选择 检查 蔚 Se ER 
选择 检查 项 本 功能 不 修改 现 有 的 任何 存 娃 系 统 数据 ， 但 在 执行 期 间 ， 您 可 能 会 发 现 设备 负载 有 所 增加 。 


和 4 设置 检查 策略 巡 检 类型 : 
e) 详 8jkK 检 

5 执行 铭 检 tompass 盘 检查 
开局 外 检 
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达 检 4 


步骤 6: 单 击 “导入 业务 包 ”， 选 择 当 前 版 本 配套 的 巡 检 业务 包 。 


朴 检 向 导 步 加 52: 和 计 择 设备 


1 欢迎 请 在 下 而 3 表格 中 选择 需要 癌 术 设备。 如 果 没有 ， 请 六 加 设备 。 
请 确保 当前 设备 包含 在 总 检 设备 列表 中 ， 如 果 未 找到 您 的 产品 ， 否则 无 法 执行 。 
选择 设备 
选中 教 0 
设备 型 号 设备 版 本 号 设备 名 称 
3 选择 检查 项 


Rk 查看 : toolcases-OceanStor9000V100R001C 
4 ”设置 检查 第 风 C 


包 autotest 
包 datacollec 
5 执行 不 检 


文件 名 : 








WW HUAWEI 


。 说 明 : 业务 包 在 toolcases-OceanStor9000V100RO01Cxx.zip 的 “inspect” 目录 中 。 
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过 检 5 


步 又 7: 选择 需要 人 巡 检 的 设备 后 ， 单 击 “ 下 一 步 ”。 
正和 检 向 导 步 加 52: 和 择 设 备 


1 欢 覃 请 在 下 而 和 3 玉 烙 中 选刊 震 要 蕊 入 人 设备 。 如 时 双 有 ， 请 下 加 总 帝 。 
请 该 保 当前 设备 包含 在 六 答 设 血 列 玉 中 ， 如 虹 未 找到 他 9) 产品 ， 请 号 入 业务 但 ， 否 则 无 法 执行 。 
加 过 择 设 务 


- 名 下 3 驱 中 执 3 
造 络 或 小 加 本 以 的 设备 。 


v 设备 型 号 设备 版 本 号 设 半 名 乏 
3 选择 检查 项 


ba 
v [ow ES “V100R001C 二 OceanStor T3200 969750.10 root = 以 


4 设置 检查 第 加 


5 执行 次 检 
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达 检 6 


步骤 8: 界面 列 出 了 所 有 的 巡 检 项 ， 根 据 需求 进行 选择 ， 默 认 全 部 进行 巡 检 。 


多 检 向 导 步骤 53: 选择 检查 项 


1 欢迎 请 根据 设备 选择 对 应 的 检查 项 。 
设备 请 选择 99.99.60.11 检 查 项 
2 ”选择 设备 OceanStor9000 V100R001 V] 99.99.60.11 


J 硬件 
| 磁盘 利用 率 4 
避 CPU 利用 坟 


V| 内 存 利用 这 
4 ”设置 检查 策略 VY| 碰 盘 状态 

Y| 电源 扶 态 
5 执行 巡 检 YY 风扇 拓 态 

Vj 网 口 拓 态 

Y| CPU 状态 

Y| 节点 拓 态 

v| 详 盘 Verify 

V| 节点 温度 

V] 网 口 协 商 单 双 工 巡 检 

Y| 光 模块 杖 态 

Y| SSD 配置 

Y| 系统 盘 

v| Nvdimm 

Y| ECC 漠 误 履 检 


选择 所 选 设备 的 检查 项 。 


NW, HuAwel 
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他 检 7 


步骤 9: 选择 巡 检 结果 保存 路 径 ， 单 击 “ 下 一 步 。 


巡 检 向 导 步 邓 54: 设置 检查 策略 


1 欢迎 请 设置 检查 结果 文件 的 保存 路 径 ， 还 可 以 通过 设置 邮箱 ， 将 结果 文件 发 至 指定 邮箱 。 


选择 设备 选择 结果 文件 保存 路 径 


C\UsersWw90004577\Documents\InspectorResult 20130627100553zip 


选择 检查 项 发 送 报告 至 指定 收 件 邮 箱 
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达 检 8 


步骤 10: 待 巡 检 完成 后 ， 单 击 “ 碍 看 巡 检 报告 ”可 以 进行 查看 。 


设备 型 号 


OceansStor9000 


选择 设备 OceanStorT3.，96.97.110.10 正在 执行 


选择 检查 项 


设置 检查 策略 


根据 巡 检 方式 执行 定时 或 实时 收 


检 。 


2013-07-30 11:19:46 正在 登录 96.97.110.10 
2013-07-30 11:19:47 ”登录 设备 96.97.110.10 成 功 。 

2013-07-30 11:19:50 ”开始 检查 

2013-07-30 11:19.55 ” 谋 盘 利用 案 WY 通过 
2013-07-30 11:20:05 ”CPU 利 用 率 YW 通过 
2013-07-30 11-20:15 ”内 存 利 用 享 Y 通过 
2013-07-30 11-20:19 磁盘 状态 Wi 两 过 
2013-07-30 11-20.21 电源 状态 困 通 过 
2013-07-30 11-20:24 风扇 杖 态 和 通过 
2013-07-30 11:20:26 ”网 口 状态 WY 通过 


打 济 六 归 目 录 。 室 
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名 目录 


1. Oceanstor 9000 这 检 
2. Oceqanstor 9000 信 息 收 集 
3. Oceaqanstor 9000 日 常 维 护 
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信息 收集 1 


步骤 1: 选择 “所 有 功能 -> 维护 -> 信息 收集 ”。 


A OceanStor Toolkit 


“~ | OceanStor Toolkit 


所 有 功能 设 支 I 





帮助 您 对 设备 进行 实时 的 、 全 面 的 检查 ， 分 析出 故障 部 件 以 及 compass 风 险 盘 ， 关 且 提 供 对 应 的 修复 建议 。 


区 巡 检 及 续 你 检查 





内 信息 收集 
帮助 您 收集 各 种 设备 的 相关 信息 。 
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信息 收集 2 \ 


步骤 2: 单 击 “ 导 入 业务 包 ”， 选 择 当 前 版 本 配套 的 信息 收集 业务 包 。 


已 


信息 收集 x 
请 在 下 列表 格 中 选择 需要 进行 收集 的 设备 ， 如 果 收 全 目标 不 在 列表 中 ， 请 未 加 设备 。 
请 确保 当前 设备 型 号 在 信息 收集 设备 列表 中 ， 如 时 不 在 ， 
收集 (C) 打开 收集 目录 (Q) 修改 歇 集 目录 (4) 
总 数 2 甘 中 数 作 


名 称 型 呈 
OceanStor T3200 攻 个 
OceanStor T3200 
查看 :  @ toolcases-OceanStor9000V100R001C 
它 autolest | 


inspect 


文件 和 名: 


YY 


Ca] we 
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说 明 : 业务 包 在 toolcases-OceanStor9000V100RO01Cxx.zip 的 “datacollect” 有 目录 中 。 
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信息 收集 3 


步骤 3: 勾 选 待 收集 的 设备 后 单 击 “ 收 集 ”。 
步骤 4; 当 进 度 变 成 100% 时 ， 单 击 “J 开 收集 目录 ”查看 信息 收集 结果 。 


汪 在 下 列 末 配 中 对 各 党 要 进行 仿 复 A 区 备 ， 如 归 琴 全 目标 不 在 列 末 中 ， 漠 人 0 世 训 。 
请 说 集训 前 设 兰 巡 嫩 在 侦 息 惟信 衣 贡 列表 中 ， 如 浊 奈 在， 请 导 秀色 。 


enemnsa 


咏 扫 2 遇 中 数 1 
名 入 和 
9711010 


OceanStor T3200 COxcean9or9000 部 侦 1011 


间苗 进行 依 息 俱全 
芝 生 信息 次 生疏 关 命 售 仿 息 
巡 午 设 兰 灵 六 旦 互 宁 亲 
0 加 办 侯 家 入 于 磺 以 信 锥 关 湖 得 
0115441 997141010 家 集 集 同日 地 
0115538 969711010 农 集 CM 和 决 日 地 
7.30 115618 969711010 办 设 音 上 收 镶 的 日 志 
7-30 1156:19 9697.110.10 避 集 站 要 文件 个 存在 F worungaris Caticoled05 9021 有 1 
07.30 115619 969711010 责 温 信息 众生 开演 
7.30 115619 969711010 信息 收集 支 奸 妆 事 
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名 目录 


1. Oceanstor 9000 这 检 
2. OceqnsStor 9000 信 息 收 集 
3. Oceqanstor 9000 日 常 维 护 
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维护 基本 原则 


按照 正确 
的 流程 操 
\、 作 


使 用 原 厂 
。 提供 的 次 
人 源 和 软件 


日 常 维护 


由 场 保留 
ga Ger 


Ge 、 便 故障 时 
\ 及 时 更 换 


DB 
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。 通过 例 行 维 护 能 够 确认 设备 环境 、 设 备 状 态 是 否 正 常 ， 并 对 异常 状态 进行 及 时 处 理 维 
护 以 保证 设备 的 正常 运行 。 


0 通过 检查 设备 的 当前 状态 ， 实 时 掌握 设备 和 网 络 的 运行 状况 ， 了 解 设备 或 网 络 的 
运行 趋势 ， 提 高 维护 人 员 对 突 发 事件 的 处 理 效 率 。 


0 及 时 发 现 设备 所 发 出 的 告警 或 已 存在 的 缺陷 ， 并 采取 适当 的 措施 予以 恢复 和 处 理 
， 维 持 设 备 的 健康 水 平 汶 降低 设备 的 故障 率 。 
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430 | 





维护 项 目 


检查 机 房 环 境 ， 检 查 机 柜 内 部 环境 
检查 设备 的 指示 灯 状 态 


IPMI 设 备 管理 软件 侧 | 格 = 息 S 


看 集群 ， 查 看 节点 ， 查 看 节点 文件 系统 服务 状态 


OceanStor 9000 管 理 控 


查 
查看 CIFS 共 享 服务 状态 ， 查 看 NFS 共 享 服务 状态 
查 = \ 态 

制 合 全 查看 交换 机 状 

查看 系统 操作 日 志 信息 


查看 性 能 信息 ， 查 看 告警 、 事 件 信 入 
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维护 工具 


设备 管理 软件 查询 设备 运行 状况 。 

Oceanstor ?000 管 理 控制 人 台 | 查询 系统 、 业 务 运行 情况 。 

光纤 清洁 工具 使 用 专用 的 清洁 工具 和 材料 ， 以 免 损 坏 光 图 接头 。 
温度 计 测量 机 房 的 环境 温度 。 


湿度 计 测量 机 房 的 环境 湿度 。 
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全 、 、 
管理 方式 
e。 UI (Graphical User Inferface ) 


o 服务 器 端 部 署 在 OceanStor ?000 上 ， 用 户 通 过 终端 浏览 器 连接 
到 Oceanstfor 2000 所 在 业务 网 ， 访 问 O 〇 Oceanstor 9000 进 行 管 
理 和 维护 。 管 理 控制 合 是 存储 单元 管理 平台 ， 支 持 同 时 管理 集群 


和 万 点 。 
e CL (Command Line Inferface ) 


o CLI 是 命令 行 接口 ， 能 够 高 效 、 快 捷 地 管理 和 维护 设备 。 
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GUI 管理 


e 登录 〇 cedansftor 9000 管 理 控制 合 
0 OCceqanstor 9000 通 过 GUI (Graphical User Interface) 接口 为 用 户 
提供 web 管 理 界面 ( 即 Oceanstor ?000 管 理 控制 合 ) ， 使 用 尸 引 以 实 
现 对 存储 设备 的 使 用 、 管 理 和 维护 。 
。 操作 步骤 
0 在 地 址 栏 中 输入 https://IP:httpsport/webui 并 按 “Enter”% 
a “|P” 为 Oceanstor 9000 的 OM 管理 IP 地 址 。 


sa “httpsport” 为 HTTPS 服 务 端 口 。 安 装 Oceanstor 9000 软 件 时 ， 上 默认 的 
HTTPS 端 口 是 “8443”。 若 通过 OM 管理 IP 无 法 登录 Seqmstor 9000 管 理 控 
制 合 ， 请 使 用 节点 的 后 端 IiP 地 址 执行 登录 操作 。 
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前 提 条 件 
0 Oceanstor 9000 管 理 控制 合 所 在 节点 正常 运行 。 
o QO 〇 ceqnstor ?2000 管 理 控 制 合 所 和 在 万 氮 与 其 他 世 氮 之 间 通 信 正 音 。 
o ”维护 终端 的 操作 系统 与 浏览 器 满足 兼容 性 要 求 。 
o 浏览 器 支持 Internet3Explorer (IE8.0 或 IE9.0 版 本 ) 、Safqri5、FireFoxl11 和 
Chrome14 或 更 高 版 本 。 
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CLI 管 理 


。 CL 管理 
oo OceansStor 9000 通 过 CLl (Commoand Line Inferface) 接口 为 用 户 
提供 管理 模块 ， 使 用 户 能 够 实现 对 存储 设备 的 使 用 、 管 理 和 维护 。 
。 登录 CH 界面 
o 在 Windows 操 作 系统 下 ， 用 户 可 以 使 用 ysH 客 户 端 软件 登录 CE 


o 在 Linux 操 作 系统 下 ， 用 户 可 以 在 >hell 中 使 用 “ssh “任意 节 氮 业务 
网 口 的 IP 地 址 ”人 命令， 登录 CLl。 
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。 操作 步骤 
o 运行 PUTTY, 在 “Host Name(onIP Gddress)” 中 输入 OceansStor 9000 的 任意 
三 点 业务 网 口 的 IP 地 址 ， 其 他 参数 使 用 默认 值 ， 单 击 “Open” 


0 依次 输入 用 户 名 “admin < 和 密码 “Admin@123”,， 按 “Enter” 后 进入 操作 系 
统 命 令 行 。Admin@123 为 操作 系统 的 默认 窗 码 ， 用 户 登 录 后 可 自行 修改 。 


o 输入 cd /startup_disk/image/lISM/ism_ap/ClLl/ismcli/ 命 令 , 按 “Enter”。 


o 输入 ./ismcli -uv gdmin -p Admin@123 -ip 127.0.0.1 -port 8080 命 令 ， 按 
“Enter”， 登 录 CLl。 


0 ” 当 命 令 提示 符 变 为 “cli:/>”， 即 可 执行 CLI 命 令 。 
。 前 提 条 件 
0 已 使 用 网 线 将 维护 终端 连接 到 Oceanstor 9000 的 交换 机 。 
0 已 设置 维护 终端 的 地址 与 Dceansfor 9000 的 业务 网 络 在 同一 网 段 。 
o、 若 维护 终端 使 用 Windows 操 作 系统 ， 已 获取 SSH (Secure Shell) 客户 端 软件 。 


o ”维护 终端 在 Windows 操 作 系统 使 用 3SH 客 尸 端 软件 PUTTY0.60 为 例 ， 说 明 登 录 CL 
的 步骤 。 


检查 P 节 点 /M 节 点 设备 运行 指标 灯 


系统 电源 指示 灯 /开机 按钮 系统 告警 指示 灯 
4 


系统 定位 指示 灯 4 | US6 广 日 
硬盘 运行 指示 灯 5 | “硬盘 告警 /定位 指示 灯 
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检查 C 证 点 设 备 运行 指标 灯 


”1 | 系统 电源 指示 灯 / 开 机 按钮 系统 告警 指 元 灯 
系统 定位 指示 灯 YSB 端 日 
硬盘 运行 指示 灯 6 | 硬盘 告 车 


告警 /定位 指示 灯 
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检查 C 证 点 设 备 运行 指标 灯 


16 15 14 13 
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WI 网 : 


是 /11 岗 : 


加 电源 模块 拉手 电源 运行 /告警 指示 灯 


系统 串口 


系统 告警 指示 灯 系统 定位 指示 灯 


PM NI IPMI 管 理 网 口 ACT 指 示 灯 


GE 网 口 ACT 指 示 灯 已 
硬盘 运行 指示 灯 ws 硬盘 告警 /定位 指示 灯 


10GE SFP+ 局 太 网 光 10GE SFP+ 以 太 网 光 接 口 


CE 网 口 LNK 指 示 灯 


接口 指示 类 


Wig UAWEI 
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437 中 


[ 


438 | 


检查 交换 机 指标 灯 


RE 
| | UN | 
了 | NR | 5 | 
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多 


检查 交换 机 指标 灯 \ 


7 


| 系统 运行 状态 灯 堆 登 主观 指 示 灯 
STAT 模 式 状态 灯 SPEED 模 式 状态 灯 
STACK 模 式 状态 灯 | 《6 | “模式 切换 按钮 /ID 指 示 灯 


业务 接口 指示 灯 (10GE 光 口 ) ”8 | 业务 接 日 指示 灯 (40GE 光 口 ) 


9 | 40GE 接 的 10GE 模 式 指示 灯 (2/3/4) | 人 S| - 
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检查 交换 机 指标 灯 


WO SO So O00 So oo0 So So So S00 oo © So O00 S00 Soo So So So S00 S00 oo 


这 


”1 | ”以 太 网 电 接口 工作 状态 指示 灯 数据 传输 状态 指示 灯 
5 | RRA (PWR) | | Ra FPWR) 
条 顷 运 行头 大 示 J (SY5) | 5 | ERXHHREO ”| 
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查看 集群 状态 


查看 集群 状态 
o 介绍 通过 Oceanstor ?000 管 理 控 制 合 检查 集群 状态 的 具体 操作 。 通 过 
检查 集群 的 状态 ， 可 以 及 时 发 现 和 处 理 故 障 。 
。 参考 标准 
在 OceanStor 9000 管 理 控制 台中 : 
o 集群 的 运行 状态 为 “运行 ”。 
0 “当前 告警 ”列表 中 没有 新 增 与 集群 相关 故障 信息 
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。 操作 步骤 
步骤 一 登录 OceanStor 9000 管 理 控制 台 。 
步骤 二 在 左上 方 基本 信息 中 查看 集群 状态 。 
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查看 方 扣 状态 


查看 节点 状态 
o 介绍 通过 Oceanstor 9000 管 理 控 制 合 检查 万 点 状态 的 具体 操作 。 通 过 
组 查 节点 的 状态 ， 可 以 及 时 发 现 和 处 理 故 障 
。 参考 标准 
在 OceanStor 9000 管 理 控制 台中 : 
0 节点 的 运行 状态 为 “ 运 
o “当前 告警 ”列表 中 没有 新 增 与 节点 相关 故障 信息 
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。 操作 步骤 
步骤 一 登录 OceanStor 9000 管 理 控 制 合 。 
步骤 二 进入 “节点 列表 ” 界 
在 石 侧 导航 中 单 击 于 系统” 。 
在 “基本 信息 ”区 域 ， 单 击 “ 查 看 详情 ” 
步骤 三 在 中 间 信 息 展 示 区 浏览 节点 信息 。 
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查看 斑点 文件 系统 服务 状态 


。 查看 节点 文件 系统 服务 状态 


o 介绍 通过 Oceanstor ?2000 管 理 控制 合 检查 节点 文件 系统 服务 状态 的 具 
体操 作 。 通 过 检查 节点 文件 系统 服务 的 状态 ， 可 以 及 时 发 现 和 处 理 故 障 


。 参考 标准 
在 OceanStor 9000 管 理 控制 台中 : 
o 节点 文件 系统 服务 状态 为 “正常 ”。 
o “当前 告警 ”列表 中 没有 新 增 与 节点 文件 系统 服务 相关 故障 信息 
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。 操作 步骤 
步骤 一 登录 OceanStor 9000 管 理 控制 合 。 
步骤 二 进入 “节点 列表 ” 界 
在 石 侧 导航 中 单 击 圈 系统 。 
在 “基本 信息 ”区 域 ， 单 击 “ 查 看 详情 ” 
步骤 三 单 击 示 个 交点 的 名 称 进入 万 点 基本 信息 界面 
步骤 四 在 节点 基本 信息 中 查询 此 节点 “文件 系统 服务 运行 状态 ”是 否 为 “正常 ”。 
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。 Oceanstor 9000 和 存储 系统 巡 检 、 信 息 收 集 和 日 党 维护 万 法 与 工具 
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。 Oceanstor 9000 系 统 巡 检 和 信息 收集 工具 和 方法 
。 Oceanstor 日 党 维护 状态 检查 ， 需 要 重点 关注 那些 项 目 
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习题 
练习 题 : 
1、 (判断 题 ) Tookkit 维 护 工 具 除 了 可 以 进行 设备 巡 检 以 外 ， 还 可 以 进行 信息 
收集 。 
2、 (选择 题 ) ?000 存 储 系 统 日 党 维护 ， 主 要 检查 哪些 项 目 : 
和信、 硬盘 状态 
B、 节点 和 交换 机 状态 
A、 集群 状态 
B、 文件 系统 共享 服务 
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HC1209207 
集群 NAS 存 储 划 与 设计 





多 


。 学 完 本 课程 后 ， 您 将 能 够 : 
o 摘 述 N8500 整 体 规划 思路 
o 掌握 N8500 网 络 规 划 
o 掌握 N8500 容 量规 划 
o 掌握 N8500 文 件 系统 规划 
掌握 N8500 业 务 规划 
了 解 N8500 性 能 优化 
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名 目录 


. N8500 整 体 规 划 思 路 
.网络 规划 
.容量 与 文件 系统 规划 
. 文件 共享 业务 规划 
:性 能 优化 
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N8500 整 体 规划 思路 


客户 端 
(业务 侧 ) 


忆 件 存储 池 数据 磁盘 1 ”数据 磁盘 2 
多 所 
撕 太 一 


N8500 
(存储 侧 ) 
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N8000 存 储 层 级 目下 而 上 分 别 为 RAID、、LUNSs 数据 磁盘 、 文 件 存储 池 和 文件 系统 。 规 
划 时 需 考虑 以 下 几 扩 : 


。 业务 侧 : 负载 尽量 均衡 到 集群 各 节点 ， 多 网 口 绑 定 增强 网 络 路 径 带宽 及 保护 性 。 


。 存储 侧 : 文件 系统 为 NAS 共 享 业务 的 基本 存储 单元 。 客 户 端 以 共享 的 方式 使 用 文 
件 系统 。 客 户 环境 对 性 能 数据 安全 性 的 要 求 ， 需 规划 不 同类 型 的 文件 系统 。 


0 存储 侧 : LUN 由 RAID 组 创建 ， 扫 摘 后 识别 为 数据 磁盘 ， 是 用 于 创建 文件 系统 的 
基本 存储 单元 。 


0 存储 侧 : RAID 组 由 大 干 硬盘 组 成 ， 不 同 级 别 的 RAID 组 可 以 满足 不 同 应 用 场景 对 
数据 安全 性 或 读 与 性 能 的 要 求 。 


文件 存储 池 是 数据 磁盘 的 集合 ， 主 要 为 创建 文件 系统 提供 统一 的 存储 空间 。 创 建文 件 
存储 池 便 于 整合 和 分 配 存储 空间 。 
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多 目录 


. N8200 整 体 规划 思路 
. 网 络 规划 
.容量 与 文件 系统 规划 
. 文件 共享 业务 规划 
:性 能 优化 
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N8500 网 络 IP 规 划 


TE ¥B: 192 168.10.10/24~ 192 168.10.10/24 
ascowoeml 
ET 7 


规划 项 网 段 要 求 


本 | ee 必须 为 连续 的 |P 地 址 段 。 


理 P 数量 + 引擎 节点 所 有 管理 网 口 数量 。 | 业 委 网 口 应 拟 上 地址》 让 四 二 击 承 内- 


= 警世 贞 虚 二 卖 的 |P 地 址 段 8 
pIP ”| 引擎 节点 业务 网 口 的 数量 。 “所 有 P 地 址 (Consolelp 地 证、 物理 IP 地 址 、 
业务 网 口 虚 拟 IP 地 址 ) 在 同 s 网 段 内 。 


。 与 控制 框 的 控制 器 上 BR 地 由 在 同一 网 段 。 
se 每 套 N8500 只 需 规划 1 个 。 。 与 引擎 物理 IP 地 址 、 汪 禾 网 口 虚拟 IP 地 址 在 
同一 网 段 内 。 
Bd 人 台 控 制 框 的 情况 下 ， 需 对 每 一 全 与 引擎 节 点 Corisele IP 地 址 在 同一 网 
四 管理 网 口 jP 地 址 。 | 段 内 。 
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N8000 的 地 址 分 两 类 ， 一 类 为 物理 |P 地 址 ， 兰 类 为 虚拟 IP 地 址 。 
o 物理 IP 地 址 在 所 有 业务 网 口 和 引擎 节点 管理 网 口 、 存 储 单元 管理 网 口 各 有 一 个 ; 


o 虚拟 IP 地 址 分 为 业务 网 口 虚拟 IP 地 址 (每 个 业务 网 口 一 个 ) 和 管理 IP 地 址 ( 
Console IP， 所 有 引擎 节点 管理 网 口 共 用 一 个 ) 。 


在 做 外 地 址 规划 时 ， 需 要 保证 每 个 端口 上 的 物理 IF 和 虚拟 外 在 同一 个 网 段 。 如 果 您 初始 
化 完成 后 想 调整 管理 网 口 IP 地 址 与 业务 网 口 IP 地 址 不 在 同一 段 ， 请 同时 调整 虚拟 IP 和 物理 
IP。 


部 署 时 ， a a 连通 〈 如 果 使 用 临时 IP 地 址 部 嗜 然后 调整 的 方案 ， 请 
务必 先 保 证 不 与 客 尸 网 络 连 通 ) ， 吕 免 出 现 相互 影响 ， 竺 部署 完 成 后 需要 调 测 业务 时 再 连 
通 。 

。 对 于 iP 资源, .切换 规则 如 下 : 


1， 从 天 个 引擎 节点 切换 到 另外 一 个 引擎 节点 ， 不 能 在 单个 引擎 节点 的 多 个 网 口 之 间 
切换 。 


2 人 ~ 在 引擎 节点 间 的 相同 网 口 名 的 网 口 间 切 换 ， 不 能 从 一 个 引擎 节点 的 网 口 1 切 换 到 
另外 一 个 引擎 节点 的 网 口 2 


。/ 根据 ip 切换 规则 ， 对 组 网 有 如 下 要 求 : 


1 集群 中 各 个 引擎 节点 相同 网 口 名 的 网 口 需 连接 到 同一 网 段 中 (比如 所 有 节点 的 
Pubeth1 端 口 必 须 同一 网 段 )。 


2， 同 一 个 引擎 世 点 的 不 同 网 口 可 以 连接 到 不 同 的 网 段 ， 也 可 以 连接 到 同一 网 段 中 
注意 : 表 中 规划 的 IP 不 包括 阵列 提供 3AN 服 务 时 的 Cs 端口 的 IP。 
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N8500 网 络 IP 规 划 


规划 项 IP 地 址 信息 / 子 网 掩 码 


引擎 节点 物理 IP 地 址 段 蓉 秽 ”1718271686.710710024~1821686.710710024A 


引擎 节点 虚拟 IP 地 址 段 192 168 .710 7 
iConoo PM | 
控制 框 管理 网 口 IP 地 址 其 向 训 A: 炬 罗 裔 6: 时 


规划 项 网 段 要 求 


a ee “必须 为 连续 的 IP 地 址 段 。 


理 IP 数量 + 引擎 节点 所 有 管理 网 口 数量 。 | 业务 网 口 虚 拟 | 地 址 ) 在 同一 网 败 丙 。 
=| 多 节点 庶 “必须 为 连续 的 IP 地 址 段 6 
AIP ”” ”| 引擎 节点 业务 网 口 的 数量 。 “所 有 IP 地 址 (ConsolSR 地 址 、 物 理 IP 地 址 、 
业务 网 口 虚拟 iP 地址 ) 在 同 s 网 段 内 。 
“与 控制 框 的 控制 器 IR 地 址 在 同一 网 段 。 
每 套 N8500 只 需 规划 1 个 。 * 与 引擎 物理 IP 地 址 、 泪 务 网 口 虚拟 IP 地 址 在 
同一 网 段 内 。 


Ba 侣 控制 框 的 情况 下 ， 需 对 每 一 合 与 引擎 节点 Corisele IP 地 址 在 同一 网 
I 段 内 。 
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2 IP 


如 客户 无 特殊 要 求 ， 建 议 配 置 管理 网 口 Conselé IP 地 址 和 业务 网 同一 个 网 段 ， 即 所 有 


物理 IP、 


虚拟 IP、 管 理 IP 一 个 段 内 ， 方 便 维护 。 


® 规划 时 须 注意 


口 


部 署 前 使 用 串口 以 Suppor 拥 户 登 录 设 备 ， 执 行 caf /etc/HS/conf/version.conf 
令 查 设备 版 本 ， 如 果 低 于 N8000V200RO001COOSPC104， 请 及 时 联系 研发 工程 师 
升级 系统 版 本 。 (默认 密码 ;Upporl@storgqge) 


用 户 现 网 网 段 不 满足 要 求 时 需 先 用 满足 网 段 要 求 的 临时 方案 初始 化 ， 然 后 修改 地 
址 为 实际 规划 


ISM ServiceTool 部 署 工 具 适 用 于 所 有 的 虚拟 IP 地 址 、 物 理 IP 地 址 、 管 理 地 址 在 同 
青 况 ， 如 果 不 满足 ， 请 采用 将 所 有 |IP 都 设置 为 管理 网 段 IP 的 临时 方案 洗 
署 ， 部 署 完成 后 ， 使 用 ISM 或 hetwork 模 式 下 IP addr modify 修 改 业 务 网 段 地 址 
为 规划 的 正确 地 址 。 
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N8500 网 络 IP 规 划 举 例 


规划 项 IP 地 址 信息 / 子 网 掩 码 


引擎 节点 192.168.10.2/24 ~ 
物理 IP 地 址 段 192.168.10.81 /24 122.168.10. 


引擎 节点 虚拟 IP 地 址 | 192.168.10.82 /24~ 
和 192.168.10.161 /24 122.168.10,] 


引擎 节点 Console IP 

地 址 192.168.10.2 /24 19216480 1 
控制 框 管理 网 口 |P 地 | 控制 器 A: 192.168.10.3 /24 [oN ca 10 1 
址 控制 器 B: 192.168.10.4 /24 as 
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。 具体 计算 如 下 : 


o 引擎 节点 所 需 全 部 物理 IP 地 址 数量 = 48 (1 Gb iSCSI 网 口 数量 ) +8 (10 Gb 
iSC5I 网 口 数 量 ) +4 (管理 网 国 数量 ) + 20 (计划 扩展 数量 ) = 80 个 。 


0 1 GbiSCSI 网 口 数 量 = 4 ( 歼 太 挟 数 量 ) “3 (1Gb isCs| 授 口 模块 数量 ) “4 ( 
1 Gb CSI 接口 模块 网 口 数量 ) = 48。 


o。 10 Gb iSCSI 网 口 数量 = 4 引擎 节点 数量 ) * 1 (10Gb iSCSI 接口 模块 数量 ) *2 
(1 0Gb isCsI| 接 口 模 决 网 口 数量 ) = 8。 


9 ”管理 网 口 数量 = 4 (5| 擎 太 扣 数量 ) “1 ( 官 理 网 口 数量 ) 。 
90 计划 扩展 数量 根据 客户 实际 情况 确定 ， 此 处 以 预 估 为 20 个 为 例 。 


N8500 配 置 4 休 引 擎 训 氮 和 1 个 控制 框 。 除 去 组 建 心 跳 网 络 的 1 人 b isCsl 接 口 模块 〈 不 需 
配置 IP 地 址 )。， 每 个 引擎 节 扣 配置 3 个 1GbiSC3| 接 口 模块 (每 个 接口 模块 4 个 网 口 ) ，1 个 
10Gb isCsl 接 口 模块 〈 每 个 接口 模块 2 个 网 口 ) ， 用 于 组 建 业 务 网 络 ; 每 个 控制 框 配 置 2 
个 控制 器 。 网 络 IP 地 址 规划 如 上 表 。 
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N8000 配 置 bond4 模 式 


。 什么 是 pond4? 
。 即 “802.3ad” 模 式 , 动态 链接 聚合 策略 。 
。 优点 
网 卡 资源 利用 率 高 
实现 负载 平衡 
提供 容错 功能 
实现 数据 包 发 送 的 有 序 传输 
。 缺点 
o “网 天 型 ”拓扑 下 ， 负 载 不 均衡 问题 突出 
o 使 用 范围 有 限制 
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网 卡 资源 利用 率 高 : 由 于 设备 链表 中 的 每 一 块 网 卡 都 有 机 会 发 送 数据 包 ， 因 此 
bonding 设 备 中 网 卡 资源 的 利用 率 是 100%。 

实现 负载 平衡 : 在 “802.3dy” 模式 下 ， 多 个 网 卡 端口 工作 在 同一 个 激活 的 聚合 
体 下 ， 共 享 相同 的 速率 利 双 工 模式 。 避免 了 一 块 网 卡 长 期 发 送 数据 ， 而 导致 其 它 
网 卡 失效 。 

提供 容错 功能 : 当 PShding 设 备 驱动 检测 到 其 中 一 块 网 卡 出 错时 ， 该 网 卡 会 被 
bonding 驱 动 从 slaye 设 备 链表 中 清除 。 它 的 传输 任务 将 自动 由 链表 中 下 一 块 网 
卡 接管 ， 因 此 不 会 影响 数据 发 送 。 


实现 数据 包 发 这 的 有 序 传输 : 802.3ad 标 准 要 求 帧 按 顺 序 《一 定 程度 上 ) 传递 ， 
因此 单个 连接 一 般 不 会 看 到 包 的 乱 序 


在 “网 关 型 ”拓扑 下 ， 由 于 “802.3ad” 模 式 的 实现 通过 对 端 来 分 发 流量 (通过 
MAC 地 址 的 XOR 值 ) ， 所 有 外 出 流量 将 使 用 同一 个 网 卡 设备 ， 负 载 不 均衡 问题 
突出 。 

“802.3ad” 模 式 要 求 所 有 设备 在 同样 的 速率 和 双 工 模式 下 进行 聚合 ， 限 制 了 该 
模式 的 使 用 范围 。 


[ 


459 | 


N8000 丁 0 置 bond6 模 式 


。 什么 bond6? 
o 即 “balance-alb 模式 ， 目 适应 负载 均衡 策略 。 
。 优点 
o 能 够 根据 bonding 设 备 的 负载 状态 进行 动态 的 分 配 和 调整 。 
o 提供 容错 功能 。 
。 缺点 
0 动态 平衡 必然 会 造成 网 卡 设备 的 频繁 切换 ， 因 而 增加 了 系统 开销 。 


0 ARP 协商 机 制 的 更 新 (服务 器 端 ) 的 方式 不 够 健壮 , /有 可 能 出 现 bponding 
设备 主 网 卡 承担 过 多 负载 的 情况 。 
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在 提供 传输 负载 均衡 功能 的 基础 上 ，“bolanee-alb ”模式 增加 针对 IPV4 流量 的 接收 


负载 均衡 (receive load balance，rlb) 。 Bonding 驱 动 程序 根据 每 一 个 bonding 网 卡 
端口 (slqve) 的 不 同 处 理 能 力 和 当前 的 负载 状态 ， 对 网 络 服务 请 求 进行 合理 的 调配 ， 将 
网 络 发 送 和 传输 的 负载 在 所 有 网 卡 端口 中 重新 分 布 。 


。 优 扣 


DD 460 0 


口 


能 够 根据 bonding 设 备 的 负载 状态 进行 动态 的 分 配 和 调整 。“balance-alp” 模 
式 根 据 每 一 个 平衡 周期 内 网 络 网 卡 的 负载 不 同 ， 在 网 卡 组 内 动态 分 配 发 这 和 接收 
任务 ， 避 免 了 某 些 网 卡 端口 承载 大 量 发 送 或 接收 请 求 ， 从 而 在 一 定 程度 上 提高 了 
服务 器 和 客户 端 之 间 的 整体 吞吐 率 。 

提供 容错 功能 汶 当 bonding 设 备 驱 动 检测 到 其 中 一 块 网 卡 出 错时 ， 该 网 卡 会 被 
bonding 驱 动 从 Slave 设 备 链 表 中 清除 。 它 的 传输 任务 将 自动 由 链表 中 下 一 块 网 
卡 接管 ， 因 此 不 会 影响 数据 发 这 。 


动态 平衡 必然 会 造成 网 卡 设备 的 频繁 切换 ， 因 而 增加 了 系统 开销 。 


ARP 协商 机 制 的 更 新 (服务 器 端 ) 的 方式 不 够 健壮 ， 有 可 能 出 现 bonding 设 备 主 网 
卡 承担 过 多 负载 的 情况 。 


N8000 本 置 一 一 起 置 bond 


e 创建 bond 


e。 删除 bond 





S 
注意 : Tit 


N 
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多 目录 


. N8200 整 体 规 划 思 路 
.网 络 规划 

. 容量 与 文件 系统 规划 
. 文件 共 译 业务 规划 
:性 能 优化 
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RAID 组 划分 原则 


.同一 RAID 组 建议 划分 一 个 LUN (fencingLUN 除 外 ) 
. SAS、FC 盘 推荐 配置 为 RAID 10 或 者 RAID 5 


o 4 盘 RAID 10 (多 盘 建 RAID 10 时 ， 可 以 扩充 盘 数 ) 或 者 9? 盘 或 者 11 盘 RAID 5 
o。 9 盘 RAID 5 建议 使 用 128KB 分 条 深度 ，11 盘 RAID 5 建议 使 用 64KB 分 条 深度 ， 
，SATA、NL-SAS 盘 ， 兼 顾 可 靠 性 和 性 能 推荐 配置 11 盘 RAID 6， 配 置 一 块 热 备 伏 了 


.RAID 组 不 跨 硬盘 框 


.同一 RAID 组 中 应 避免 包含 不 同 转速 、 不 同 容量 的 硬盘 ， 以 免 性 能 较 差 的 硬盘 影响 


RAID 组 整体 性 能 
. 数据 库 业务 、 随 机 读 写 业 务 建议 使 用 RAID 10 
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。 Raid 的 选 型 和 配置 建议 : 

o FC/SAS 盘 建议 配置 Raid5 

0 NL_SAS/SATA 必 须 配置 Raid6 
。 N8000 有 效 容量 计算 方法 : 
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o 精确 计算 方式 : 有 效 容 量 =Reid 组 个 数 * (单个 Raid 组 盘 数 -1{Raid5) 或 2(Raidb) 


) “ 单 盘 容量 "0.23*D99 
注 : 0.23 为 硬盘 格 陈 伐 后 可 用 比例 ，0.2? 是 创建 文件 系统 可 用 比例 
0 粗略 计算 方 去 : 有 效 容量 污 神 容量 X0.7 
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存储 划分 原则 一 一 LUN 人 参数 详解 


~~ | 随机 读 业 务 ， 建 议 采用 “不 预 
轨 圭 ~ 已 和 :者 pa 

过 卫 /六 汪汪 指定 的 实职 从 度 进行 | 取 *， 否 则 可 能 由 于 读 命 中 率 低 
人 人 而 会 导致 性 能 下 降 。 


智能 预 取 会 对 主机 读 请 求 进行 连续 
当 间 请 有 公认 硬 刘 | 适用 于 有 序 这 和 了 机 相 在 在 
预 取 到 Cache 中 ， 提高 读 Cache 者 无 法 判断 读 应 用 是 否 顺 序 的 月 
命中 率 。 如 果 是 随机 读 ， 则 不 预 取 ，| 守 
人 只 从 硬盘 读 取 需 要 的 部 分 。 


CQche 读 取 硬 盘 数 据 时 ， 每 次 从 硬 | 适合 大 小 固定 的 顺序 读 应 用 。 例 
盘 中 读 取 固 定 的 长 度 ( 长 度 由 用 户 “| 如 彩铃 、 多 用 户 流 媒体 点 播 ， 用 
配置 ) 。 户 使 用 相同 码 流 人 


可 适合 大 水 不 固定 的 顺序 读 应 用 ， 
在 读 取 数据 时 ， 按 照 主 机 I/O 〇 请 求 中 | 或 多 用 户 并 发 读 但 无 法 判定 预 读 
的 读 取 长 度 的 倍数 将 数据 预 取 到 量 , 无 法 按 固定 预 取 设 置 的 应 用 。 
Cache 中 。 例如 多 用 户 多 媒体 点 播 ， 用 户 使 
用 码 流 各 不 相同 。 
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数据 直接 与 入 硬盘 。 每 次 与 操作 都 要 访 
问 硬盘 。 


回 与 /镜像 : 数据 与 入 本 地 Cache， 


同时 写 到 对 端 Cache。 
回 写 /不 镜像 : 数据 只 写 入 本 地 


Cache。 


强制 回 写 、 和 镜像 : 当 存 储 系统 发 生 
菏 些 故障 (例如 高 温 故 障 或 BBU 供 
电 不 足 ) 时 ， 强 制 写 入 本 地 
Cqche， 同 时 写 到 对 端 Cache。 
强制 回 写 、 不 镜像 : 当 存 储 系统 发 
生 某 些 故 障 (例如 高 温 故 障 或 BBU 
供电 不 足 ) 时 ， 强 制 写 入 本 地 
Cache。 


存储 划 ts 


可 靠 性 最 高 ， 但 写 性 能 较 差 ， 不 影 
响 读 性 能 。 

适用 于 对 与 性 能 要 求 不 高 ， 对 可 靠 
性 要 求 较 高 的 应 用 。 


回 写 、 镜 像 : 与 性 能 比 适 与 娩 ,Up 但 
比 回 与 不 镜像 差 ， 不 影响 读 性 


适用 于 写 性 能 和 可 靠 性 兼顾 的 应 用 。 


回 写 、 不 镜像 : 与 性 能 最 好 ， 但 可 


靠 性 较 差 。 适 用 于 对 与 性 能 和 要求 高 ， 


对 可 靠 性 要 求 低 的 应 用 


强制 回 与 、 镜 像 : 与 性 能 比 透 与 好 ， 


但 比 强 制 回 写 不 镜像 差 ， 不 影响 读 
性 能 。 系 统 故障 时 可 能 会 有 数据 丢 
失 的 风险 。 

强制 同 守 ss 不 镜像 : 与 性 能 最 好 ， 
但 可 靠 性 较 差 ， 不 影响 读 性 能 


统 故 隧 时 可 能 会 有 数据 天 失 的 风险 。 
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说 明 : 当 写 集 略 设置 为 “ 回 写 ”或 “强制 回 写 兴 时， 才能 与 镜像 集 略 搭 配 使 用 。 
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存储 划分 原则 一 一 LUN 


单个 LUN 推 荐 最 大 不 超过 16TB 


. LUN 归 属 控制 配置 : 同一 RAID 组 的 LUN 归 属于 同一 控制 器 ， 不 同 的 RAID 组 
交 蔡 归属 于 A 控 和 B 控 。 


. 写 cache: 采用 回 写 镜像 以 

， 预 取 策 略 请 参考 “LUN 人 参数 详解 ” 

.LUN 映射 : 映射 时 主机 LUN ID 不 能 为 0 

. LUN 分 条 深度 最 小 值 不 建议 小 于 32K， 顺 序 型 业务 建议 使 用 6 闫 分 条 深度 ， 
随机 型 业务 、 和 混合 型 业务 建议 使 用 32K 分 条 深度 

， 如果 有 多 个 业务 量 较 大 的 LUN， 建 议 规划 在 不 同 的 RAID 组 斗 。 
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选择 文件 系统 类 型 -Simple 


。 数据 依次 存储 在 构成 文件 系统 的 数据 磁盘 。 
。 适用 于 没有 特别 的 性 能 和 安全 性 要 求 的 场景 。 


Example of a Volume in a Concatenated Configuration 


Physical Disk |, VM Disk Subdisks oe 
ex 


devname 


[ disk01-02 _ 
disk01-03 
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Volume 


disk01-02 
disk01-03 disk01-03 


vol01-01 


| 

| 

| 

| 

| disk01-01 

|| disko1-01 一 一 disk01-01 disk01201 
| disk01-02 

| 

| | | 

| 

| 

| 

| 

| 





simple 文 件 系统 的 数据 依次 存储 在 构成 文件 系统 的 数据 磁盘 (文件 系统 的 卷 可 能 有 来 
和 目 多 个 数据 磁盘 的 子 磁 盘 构 成 ) ， 首 先 将 从 头 到 尾 访问 第 一 个 SUbdisk 上 的 数据 ， 然 后 在 
从 头 到 尾 访 问 下 一 个 supdisk 上 的 数据 气 直到 访问 完毕 所 有 的 Sulbbdisk。 相 当 于 单 块 数据 磁 


， 读 与 性 能 及 容 销 性 与 单 块 数据 磁盘 一 致 。 
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选择 文件 系统 类 型 -Stripe 


。 数据 交错 存储 在 多 个 数据 磁盘 ， 相 当 于 RAIDO， 读 写 性 能 高 ， 安 全 性 低 于 
构成 sfipe 的 任 一 单 块 数据 磁盘 。 
。 适用 于 性 能 要 求 高 的 场景 。 


Example of a Striped Plex with Concatenated Subdisks Per Column 
Physical Disks VM Disks Striped Plex SU = Strip 
' 
1 
- diskO1-O01 
rN 
| disko1-02 _ 
| disk01-02 
| devname disk01-03 -| 冯 
TT 1 


diskO1 








| 
1 I 
1 Kd 
QQ 1 
一 一 一 一 一 1 disKkO2-01 一 国 disk02-01 
devname ! Ne disk02-02 
1 
、 i 1 
1 Column 2 


diskO2 


l 
' diskG23-O 1 4 
一 ee ee i 
-| disk03-01 
Cdevnamne 
> ee 
' Colomn 3 
I 
l 
l 


diskO3 
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条 带 化 数据 的 方法 可 以 使 数据 在 两 个 或 多 个 磁盘 上 交错 分 布 。 条 带 化 plex 包 括 两 个 或 
多 个 subdisk， 这 些 subdisk 来 自 两 个 或 多 个 寝 盘 。 数 据 会 在 这 些 subdisk 上 交错 分 配 。 这 
些 subdisk 组 织 成 列 ， 每 列 都 包含 来 自 一 个 或 多 个 物理 磁盘 的 subdisk。 每 列 的 Subdisk 的 
数量 和 大 小 可 能 不 同 。 在 必要 时 也 可 向 列 中 添加 额外 的 Subdisk。 例 如 在 条 纹 化 的 plex 中 
有 三 列 和 六 个 条 纹 单元 ， 数 据 在 这 三 烈 上 上 的 条 纹 化 分 布 将 如 图 所 示 。 


468 


选择 文件 系统 类 型 一 Mi rrored-stripe 


。 数据 存储 时 先 做 条 市 再 做 说 像 ， 相 当 于 RAID01， 读 写 性 能 高 ， 
。 适用 于 对 数据 安全 性 和 读 写 性 能 要 求 高 的 场景 。 


Mirrored-Stripe Volume Laid out on Six Disks 


Mirrored-Stripe 


Volume 
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VxVYM 支 持 在 条 带 化 的 基础 上 施加 映像 。 图 倒 显 示 了 两 个 plex， 每 个 都 有 跨越 3 个 磁盘 


的 条 带 ， 它 们 在 一 起 互 为 映像 ， 组 成 了 一 个 Mitrored-stripe 卷 。 
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文件 系统 参数 规划 


对 于 条 带 类 型 的 文件 系统 ，columns 数量 不 超过 8， 防 止 数据 过 于 离散 。 

. 文件 系统 大 小 超过 1T 时 blocksize 选 择 8192。 

.创建 条 带 文件 系统 ， 建 议 Columns 数 量 与 raid 组 个 数 一 致 。 

.在 实际 配置 时 ， 从 可 靠 性 和 故障 恢复 速度 方面 考虑 ， 文件 系统 大 小 建议 不 
超过 64TB。 具 体 视 文件 大 小 决定 ， 对 小 文件 (平均 文件 大 小 <1M 汶 存储 应 
用 ， 不 超过 16TB， 文 件 越 小 ， 在 满足 容量 需求 的 情况 下 ， 建 议 创建 越 小 容 
量 的 文件 系统 。 

. 文件 数量 超过 1000 万 时 ， 建 议 不 开启 配额 。 

.建议 单个 文件 系统 存放 文件 不 超过 4000 万 ， 目 录 层 广 不 超过 10 层 . 

.建议 每 个 目录 下 不 超过 1 万 个 文件 ， 不 超过 1 干 个 目录 。 
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多 目录 


. N8200 整 体 规 划 思 路 
. 网络 规划 
.容量 与 文件 系统 规划 
. 文件 共享 业务 规划 
:性 能 优化 
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文件 共 圣 业务 规划 原则 


1. NFS 共 至 支持 集群 式 访问 ， 主 机 挂 载 需要 手动 分 配 IP ， 为 负载 均衡 ， 请 使 
用 浮动 在 不 同 节 点 的 虚拟 IP。 

. CIFS Normal 共 至 采 用 的 是 DF3， 单 一 文件 系统 只 能 通过 特定 机 头 访 问 ， 
推荐 cidb 集 群 模式 。 

10CE 端 口 不 建议 绑 定 ，1CE 端 口 绑 定 建议 模式 选择 模式 4 或 模式 6。 
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虚拟 1P 均 衡 分 布 


。 Network->ip addr show 命令 查看 |P 分 布 
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6 
。 虚拟 IP 地 址 在 各 NAS 记 点 上 分 布 均匀 是 最 本 
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NFS 共 享 业务 均 稀 


。 客户 端 使 用 不 同 的 IP 挂 载 NFS 共 享 





CIFS 共 享 业 务 均衡 


。 CIFS 共 享 挂 载 原 则 


o 推荐 使 用 集群 模式 (cdtb) ， 集 群 模式 在 同一 时 刻 由 多 个 集群 NAs 引 擎 节点 为 
菏 个 CIFS 共 享 提供 服务 ， 缓 解 单 节点 业务 负载 ， 提 高 访问 速度 。 


令 
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多 目录 


. N8500 整 体 规划 思路 
. 网络 规划 
.容量 与 文件 系统 规划 
. 文件 共享 业务 规划 

. 性 能 优化 
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性 能 调 优 的 醒 提 


制定 合理 的 性 
能 目标 


固定 的 测试 环境 问题 “确诊 ” | 
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开始 性 能 调 优 工作 之 前 ， 首 先 要 根据 现 有 经 验 评 估 性 能 目标 的 合理 性 ， 当 性 能 目标 明 
显 起 过 了 硬件 能 力 的 时 候 ， 应 该 考虑 增强 硬件 配置 。 一 般 来 说， 干 兆 网 卡 上 TCP 的 最 大 传 
俞 能 力 约 100MB/s， 万 兆 网 卡 上 TCP 的 最 大 传输 能 力 约 1000MB/s。 


在 做 性 能 优化 调整 的 时 候 ， 要 使 用 一 套 固 定 的 测试 环境 ， 并 确定 一 种 固定 的 测试 模 却 
， 在 这 种 条 件 下 进行 各 种 试验 性 的 调整 ， 并 记录 每 次 调整 对 性 能 的 影响 。 如 果 测 试 环境 和 
模式 无 法 固定 ， 则 测试 结果 束 不 具有 可 比 性 ， 疯 试 结果 就 是 无 意义 的 。 

在 开 出 “药方 ” 之前， 应 兽 先 “确诊 ”。 通 过 不 断 的 “猜测 问题 原因 ”、“ 做 实验 验 
证 原因 ”的 循环 ， 确 定 问题 根 因 ， 然 后 再 给 出 问题 解决 方案 。 
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N8500 性 能 评估 关键 参数 


性 能 评估 关键 参数 
个 NASa | 学 训 提供 的 
和 


CPU 数量 及 型 号 


NAS 引 擎 节点 硬件 配置 
内 存 大 小 
NAS 引 擎 和 存储 单元 通讯 链 4GbFC 
路 8GbFC 
后 端 存 储 单元 性 能 S2600T/S5500T/S5600T/S5800T/S6800T 
SSD/SAS/FC/SATA/NL SAS 
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N8000 性 能 评估 依据 \ 


N8500 基 础 版 ( 单 CPU + 4 个 千 浪 网 口 + 16GB cache) 
ee >350MB/s 
引擎 性 能 /中 尽 N8500 标 准 版 ( 单 CPU + 万 兆 网 口 + 24GB cache) >500MB/s 
(大 文件 混合 读 写 ) N8500 企 业 版 ( 双 CPU + 万 兆 网 口 + 48GB cache) >700M 
N8500 增 强 版 ( 双 CPU + 万 兆 网 口 + 96GB cache) >900/ 匈 全 


5 S2600T:800MB/s 
存储 单元 控制 器 最 六 | S5500T:2000MB/s 


和 0 $5600T:3000MB/s 
屁 而 撤 从 正史 四 角 | S5800T:4000MB/s 


和 
组 ) S6800T: S000MB/s 


, . FC/SAS: 30MB/s (8+1 Raid5) 

月 性 和 台 入 
|SATA: 12MB/s (10+2 Raidé) 
义 于 旋 斑 蕊 刁 NL_SAS: 20MB/s (10+2 Raidé) 
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Note: 性 能 评估 模型 在 顺序 大 文件 读 瑟 的 场景 下 预计 可 达到 上 述评 估 值 ， 仪 作为 评估 
经 验 参考 ， 不 作为 答 标 依 据 和 性 能 承 请 


顺序 大 文件 读 写 场景 通常 是 指 文 件 分 布 在 几 十 MB 以 上 ，NFS 协 议 。 
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N8000 性 能 计算 方法 


。 性 能 计算 方法 
o_P1: 后 端 存储 单元 性 能 = 单 盘 性 能 * 有 效 磁盘 数 (除去 热 备 盘 后 的 磁盘 
总 数 ) 
P2: NAS 引 擎 性 能 = 单个 NAS 引 擎 节点 的 性 能 * 引擎 节点 数 *80% 《后 
端 存储 单元 性 能 足够 的 情况 下 ) 
e N8000 总 体 性 能 = Min (P1，P2) 
oP1: 存储 单元 性 能 不 超出 存储 单元 控制 器 的 最 大 性 能 上 限 
o P2: 引擎 数量 小 于 4 时 按 此 规则 预 估 
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。  ” 仪 限 于 评估 参考 
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性 能 调 优 检查 项 、 


CPU 利用 率 是 否 很 硅 


磁盘 均衡 分 配 控 
文件 系统 的 磁盘 均衡 分 和 过 大 ua 《0 


LUN 划 分 和 归属 上 LUN “当前 号 策略 ” 
名 为 透 写 


阵列 控制 框 到 级 联 框 光纤 并 夫 查 是 否 有 慢 盘 
连接 
光纤 端口 速率 误 码 
引擎 到 磁盘 光纤 链 路 
工作 模式 
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检查 后 端 存储 的 整体 性 能 是 否 比 客户 要 求 低 。 

令 查 所 有 BBU 是 否 都 已 故障 ， 如 果 都 故障 会 导致 un 的 “当前 与 策 略 ” 变 为 透 与 模式 。 
通过 M 检 查 用 于 业务 的 LUN 的 “当前 与 策略 ”是 否 已 变 为 透 写 模 式 。 

仿 查 磁盘 有 无 慢 盟 ， 登 录 阵 列 ISM 答 查 是 否 有 硬盘 啊 应 慢 的 告警 。 


光纤 端口 速率 误 码 LUN: 在 引擎 节点 上 用 iostat - xm 1 看 到 ， 有 些 磁 盘 的 利用 率 一 直 
很 高 ， 那 么 很 可 能 是 磁盘 IO 带宽 是 性 能 瓶颈 ， 应 首先 解决 这 个 问题 。 在 ISM 上 使 用 系 
统 配置 导航 栏 下 误 码 次 管理 " ( 先 清 除 后 刷新 ) 查看 有 无 误 码 。 


朋 端 业务 端口 速率 最 佳 ， 如 测 8Gb 的 市 宽 端 口 速率 不 能 工作 在 4Gb 模 式 。 


Er 
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性 能 调 优 检 查 项 一 一 光纤 连接 


。 磁盘 阵列 到 级 联 框 光纤 连接 
o 控制 框 A 控 侧 EXP 连 接 到 级 联 框 A 控制 侧 PRI， 探 制 框 B 控 侧 EXP 连 
接 到 级 联 框 B 控 侧 PRI， 不 能 交叉 相连 。 
。 引擎 到 磁盘 阵列 光纤 连接 
o 当 同 一 引擎 古 点 需 连 接 阵 列 的 单个 控制 器 的 多 个 端口 时 尽量 连 
接 不 同 扣 卡 端口 。 
o 确保 有 单独 的 路 径 到 达 阵 列 A 控 和 B 控 。 
o 引擎 侧 如 果 存 在 多 条 路 径 到 达 阵 列 时 ， 可 在 光纤 侈 换 机 上 划分 
ZONE 实现 逻辑 隔离 。 
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性 能 调 优 检查 项 


。 LUN 划 分 和 归属 
o 一 个 RAID 组 上 仅 创 建 一 个 LUN 
o LUN 处 于 回 写 镜像 状态 。 
o 确保 LUN 归 属 控制 器 与 工作 控制 器 一 致 。 4 


。 控制 器 分 配 
o 组 成 文件 系统 的 磁盘 均衡 分 配 在 控制 器 上 ， 比 如 可 选择 条 市 类 型 
文件 系统 ， 而 不 是 使 用 简单 类 型 的 文件 系统 。 
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性 能 调 优 检查 项 一 一 CPU 利 用 率 


。 监 I 用 情况 


监控 内 存 利用 情况 


监控 网 卡 流量 
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性 能 调 优 检 查 项 一 一 CPU 利用 率 


PID USER 


ps 2 


users, averac 18.73, 18.81, 


top -~ 14:46:17 up 4 days, 13 min, 
2 :leeping, stopperc A 


Tasks: 433 rming, 430 

Cpu0 0.0%ni, 

Cpul 0.0%ni, 

Cpu2 0.0%ni, Dic PANE 0 . 0%hi 

Cpu3 0.0%ni,1l : 

Cpugd 94.0%id, 0.0sWa， 

Cpus 95.4*id, 0.0sWUa ， 

Cpu6 7%US 3%35 1 99 .0s1Q ， 

Cpu? 

Mem: 3128M tot: ?7 used, 区 A97M buffers 
0 used, 2596] s 1359J cachead 


La | 


ot 


人? 
oO 


[mw 【 
(OO ‘ 
一 于 


Le | 
oO kk kk 
7 


ifJ mM) 
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性 能 庙 优 检查 项 -iostat 命 令 
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哩 用 的 性 能 分 析 命 令 
Top: 显示 当前 进程 的 工作 状态 。 
Vmstat: 显示 当前 Linux 系 统 的 工作 状态 。 
Netstat 
- netstat -ss， 显 示 TCP 统 计 信 息 ; 
-netstat -1+， 显 示 每 一 条 TCP 连 接 的 状态 ; 
lostat: 显示 磁盘 IO 当前 状态 ， 以 及 当前 每 个 盘 的 利用 率 和 行 吐 量 。 
Iperf: 测试 网 络 吞 吐 量 。 
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在 这 里 列 出 每 一 个 在 网 络 性 能 调整 过 程 中 可 能 用 到 的 工具 ， 仅 仅 起 到 参考 作用 。 此 处 
并 没有 详细 介绍 每 个 工具 的 具体 用 法 ， 详 细 用 法 参见 每 个 工具 的 参考 手册 。 
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帅 用 的 性 能 分 析 和 调整 工具 (一) 


。 ethtool: 显示 网 卡 状态 ， 配 置 网 卡 参 数 
o ethtoolifnhaqme， 显 示 网 卡 的 连接 速率 和 双 工 状态 

ethtool - cifname ， 显 示 网 卡 的 中 断 聚 合 配置 

ethtool -Cifname， 更 改 网 卡 的 中 断 聚 合 配置 

ethtool -gifname， 显 示 网 卡 接收 buffer 和 发 送 buffer 的 数量 
ethtool - Gifname， 更 改 网 卡 接收 Duffer 和 发 送 buffer 的 数量 
ethtool -kifname， 显 示 网 卡 的 TOE 配 置 

ethtool -kifname， 更 改 网 卡 的 TOE 配 置 

ethtool -aifname， 显 示 网 卡 的 流 控 配置 

ethtool -Aifname， 更 改 网 卡 的 流 控 配置 
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帅 用 的 性 能 分 析 和 调整 工具 (二) \ 


e iptables 
o 显示 和 配置 Linux 防 火 墙 


e tcpdump, wireshark 











WW HuAwel 





tcpdump，wireshark 是 抓 包 工具 ， 在 Linux 上 扑 以 用 tcpdump eth0 -w out.pcap 把 报 文 存 
储 下 来 ， 然 后 用 wireshark 打 开 这 个 文件 来 分 析 。 


469 0 


帅 用 的 性 能 分 析 和 调整 工具 (三 ) 


。 /proc/interrupts 
o 显示 当前 每 个 CPU 核 处 理 中 断 的 数量 
。 Taskset 
o 设置 把 进程 邦 定 到 特定 CPU 核 上 
e。 /Proc/irq/xxx/smp_affinity 
o 把 中 断 邦 定 到 特定 CPU 核 上 
。 Sar 
o SGr -nmDEV 
。 显示 当前 网 络 卡 的 否 吐 量 
o sor -nN NFSD 
。 显示 当前 nfsd 服 务 的 请 求 数 量 
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帅 用 的 性 能 分 析 和 调整 工具 四) 


o 系统 性 能 剖析 工具 ， 能 够 动态 分 析 影 响 性 能 的 各 种 因素 


NMOoON 


o 收集 系统 性 能 信息 ， 包 括 : CPU、NFSD、MEM、NET、DISK 等 等 % 


strace 


o 跟踪 进程 的 系统 调用 。 


Uptime 


0 显示 系统 局 动 时 间 和 平均 负载 情况 (最 近 一 分 钟 ， 五 分 钟 ， 十 五 分 钟 ) 。 
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Oprofile 是 系统 性 能 剂 析 工 具 ， 能 够 动态 分 析 影 响 性 能 的 各 种 因素 ， 包 括 : 
9 程序 运行 过 程 中 间 消 耗 CPU 性 能 最 多 的 代码 片段 
og CPU 内 部 cache 的 命中 康 
o CPU 内 部 TLB 的 命中 率 
0 CPU 内存 接口 市 宽 的 利用 率 
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帅 用 的 性 能 分 析 和 调整 工具 (五 ) 


NumMastat 

o 显示 “ 非 对 称 多 路 内 存 访问 ”机 器 的 NUMA 工 作 状 态 。 
mpstat 

o 显示 多 核 CPU 的 利用 率 。 

free 

o 显示 剩余 内 存 的 数量 。 

lIonice、 nice 


o ionice 调 整 进 程 的 io 优先 级 ，nice 调 整 进程 的 CP 岂 调度 优先 级 。 
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性 能 优化 和 案例 分 吾 : 条 怒 俊 应 用 


媒体 制作 平 合 


转 码 转 码 合成 编辑 应 用 管理 数据 库 ”数据 迁移 
工作 站 工作 站 工作 站 工作 站 工作 站 服务 器 。” 服务 器 


gs 


X 


PD 
“> 千 兆 以 太 网 交换 机 


N8000 和 集群 NAS 
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问题 现象 


N8000 存 储 为 两 套 52300 控 制 框 ，48*1T SATA 硬 盘 ; 

客户 应 用 为 视频 流 应 用 ，io 具 有 较 强 的 连续 性 ; 

初期 划分 为 1o+1 的 RAIDo 组 ， 每 套 2 个 热 备 盘 ， 性 能 表现 在 流量 达 
到 100MB/s 出 现 瓶 颈 ; 

iostat 命 令 查 看 显示 后 端 磁盘 %util 经 常 达到 90% 以 上 。 


1. 后 端 磁 盘 %Util 经 常 达到 20% 说 明 件 么 问题 ? 
2， 什 么 问题 导致 性 能 瓶颈 ”? 
~ 
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o 使 用 sar，iostat，top 命 令 查看 N8000 节 点 cpu、 内 存 利用 率 ， 空 闪 率 较 高 ， 节 点 上 
不 存在 瓶颈 ; 属于 读 写 混 合 性 业务 汶 读 写 比 率 为 1: 2 左右 


o 通过 cm shilo 命 令 观 察 lo 大 小 以 及 连续 性 ， 读 |0 大 小 为 32K， 写 10 最 大 为 256K 

o iostat 查 看 存储 单元 读 写 ， 人 在 纯 写 业务 时 磁盘 上 同时 有 大 量 的 读 操作 

o 创建 两 个 文件 系统 ,每 个 文件 系统 的 columns 数 目 设 置 为 4， 对 应 两 个 raid 组 ， 不 
利于 IO 性 能 提升 


吕 _ LUN 条 市 单元 大 小 设置 为 64K， 整 个 条 市 大 小 为 640K， 存 在 大 量 的 与 惩 罚 


外 置 优化 调整 、 


。 配置 调整 措施 : 

1. 重新 划分 RAID 组 ,创建 5+1 的 rqid 5 组 ， 每 套 设置 1 个 热 备 盘 

2， 重 新 创建 文件 系统 ， 创 建文 件 系统 列 数 为 4， 每 个 lun 取 自 一 个 RAID 组 

3， 重 新 设置 LUN 条 融 单 元 大 小 为 32K 

4. cache 水 位 设置 为 85/65 X 
9 


.， 预 取 策略 设置 为 异步 预 取 
。 配置 优化 结果 : 


o 新 配置 完成 后 ， 继 续 观察 业务 运行 情况 ， 写 乱 罚 大 大 降低 ，iOwgit 延 迟 降 低 ， 磁 
盘 利 用 率 降 低 ， 性 能 达到 客户 要 求 ， 问 题解 决 
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N8500 整 体 规划 思路 

网 络 规划 

容量 与 文件 系统 规划 
文件 共 至 业务 规划 

性 能 问题 排查 方法 和 优化 建议 
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。 N8500 物理 IP、 虚 拟 IP、 管 理 IP 规 划 时 需 要 注意 哪些 ? 
。 RAID 组 、LUN 和 文件 系统 等 空间 规划 ， 有 哪些 最 佳 建 议 ? 
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@ 习题 


( 单 选 题 ) SATA、NL-SAS 盘 推荐 配置 为 ( ) 
A. 11 盘 RAID6 ; B 12 盘 RAID5; C 2 盘 RAID10; D 4 盘 RAIDS5 


(判断 题 ) N8500 所 有 IP 地 址 (Console1P 地 址 、 物 理 IP 地 址 、 业 务 网 口 虚拟 IP 
地 址 ) 在 同一 网 段 内 。( ) 


(多 选 题 ) N8500 系 统 有 关 LUN 规 划 ， 关 键 参数 最 住 建 议 描述 正确 的 有 RG 


A. 单个 LUN 推 存 最 大 不 超过 16TB 


同一 RAID 组 的 LUN 归 属于 同一 控制 器 ， 不 同 的 RAID 组 的 LUN 交 茶 归 属于 A 控 
和 B 控 。 


. 写 cache: 采用 回 写 不 镜像 
. LUN 映射 给 集群 主机 时 ， 主 机 LUN ID 不 能 为 0 
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e 1、A; 2、T; 3 ABD 
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o 掌握 Oceanstor 9000 GE 组 网 规划 
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多 目录 


1. 概述 
2. OceansStor 9000 前 端 GE 后 端 10GE 组 网 部 署 方 案 


3. OceansStor 9000 IB 组 网 部 署 方案 K 


4. OceanStor 9000 GE 组 网 部 署 方案 
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OceanSstor9000 关 键 硬 件 


。 Oceanstor 9000 分 为 以 下 三 类 节点 : 
o Mini-Capacity node (小 容量 ) 
o Performance node (P 节 点 ) 
o Capacity node (C 节 点 ) 

。 OceanStor 9000 组 网 使 用 的 交换 机 
o GE 交换 机 
o 10GE 交 换 机 
o lB 交换 机 
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。 Oceqanstor 9000 分 为 以 下 三 类 节点 : 


o Mini-Capacity node:2U 12 盘 位 存储 节点 ， 应 用 于 小 容量 应 用 场景 (Mini- 
Caqapacity gppplications) 


o Performance node: 2U_25 盘 位 存储 节点 ， 应 用 于 OOPS 密集 型 应 用 场景 (OPS- 
intensive gqpplications) 


o Capacity node:。AU 36 盘 位 存储 节点 ， 应 用 于 大 容量 、 高 带宽 应 用 场景 
(Capacify applications) 


。 Oceanstor 9000 组 网 使 用 的 交换 机 
o GE 交换 机 : S3700-52C-El|， 简 称 $35752, 也 可 使 用 客户 现 网 GE 交换 机 
0 10GE 交 换 机 ;CE6850-48S4Q-El|， 简 称 CE6850 
o lB 交换 机 : IS5023， 也 可 使 用 客户 现 网 前 端 业务 交换 机 
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9000 组 网 构成 


前 端 业 务 网 络 
后 端 存储 网 络 网 
IPMI 管 理 网 络 


OceanStor9000 


前 端 网 络 


应 网 络 
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朋 端 业务 网 络 是 Oceaqnstor 9000 与 用 已 网 络 对 接 的 组 网 ， 用 于 客户 端 接 入 业务 和 登录 
Oceqanstor 9000 管 理 控 制 台 ， 简 称 前 端 网 络 %。 后 端 存储 网 络 是 OceansStor 9000 内 部 节 
点 间 的 组 网 ， 用 于 集群 内 部 通信 ， 人 简称 后 端 网 络 。IPMI 管 理 网 络 是 连接 节点 IPMI 接 口 ， 用 
于 登录 节点 的 IPMI 管 理 平台 ， 简 称 IPMI 网 络 。 
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9000 部 署 方案 


10CE 组 网 部 IB 组 网 部 署 GE 组 网 部 团 
署 方 案 方案 方案 


前 请 业务 岗 络 接 入 方式 
6 细 网 部 署 访 案 | iocEgb | Ab 
em 
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。 9000 节 点 根据 不 同 的 组 网 方案 分 为 以 下 部 署 方案 : 
o 前端 GE 后 端 10GE 组 网 部 署 方案 
o |B 组 网 部 署 方案 
o GE 组 网 部 署 方案 
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@ 目录 


.概述 

. Oceanstor 9000 前 端 GE 后 端 10GE 组 网 部 署 方案 
. OceansStor 9000 IB 组 网 部 署 方案 

. Oceanstor 9000 GE 组 网 部 署 方案 
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前 端 GE 后 端 10GE 组 网 机 柜 配 置 


P 节 点 机 柜 配 置 





~“ 
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P 节 点 (2U) 3 节点 、5 节 点 和 C 节 点 (4 负 ) 点 部 署 仅 需要 配置 基础 柜 ， 不 需要 配置 
扩展 柜 。 C 节 点 9 节点 部 署 需要 配置 基础 柜 和 扩展 柜 ， 扩 展柜 内 部 的 节点 通过 网 线 和 SFP+ 
高 速 线 缆 (或 光纤 ) ， 连 接 到 基础 柜 中 的 交换 机 。 


初始 部 署 时 如 果蔬 点 数 超过 24 时 * 为 方便 后 续 扩 容 ， 建 议 使 用 CE12800 系 列 交 换 机 
替换 CE6850 交 换 机 ，CE12800 交 换 机 安装 在 独立 的 交换 机 机 柜 中 ，Oceanstor 9000 机 
柜 中 CE6850 交 换 机 位 置 替 换 为 假 面板 % 


[| S10 


交换 机 


前 病 业 荔 设备 管理 
剧 络 GE 网 络 GE IPMI 网 络 


后 端 网 络 芒 闹 交换 机 
网 线 网 线 GE 网 线 


SFP+ 淮 谷 QSFP+ 
阐述 有 编 高 速 线 乾 
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该 部 署 方案 适用 于 前 端 业务 网 络 接 入 用 户 交 换 机 ， 当 前 端 业务 网 络 和 后 端 存储 网 络 都 
接 入 CE6850 交 换 机 ， 此 时 CE6850 交 换 机 需要 划分 VLAN 区 分 


< 
NL 
0o 


到 端 业务 网 络 和 后 端 存储 网 
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[| 212 10 


| | 
ll 时 生生 和 


WW 司 
加 


| WN 
EE 








B3-1 NICO IPMI 


《 
' 
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A0-0 和 Ab0-1 (10GE 光 接口 ) 
0 ”连接 到 CE6850 交 换 机 。 需 要 为 两 个 接口 分 别 规划 1 个 后 端 网 络 IP 地 址 。 
B3-0 和 B3-1 (GE 电 接 口 ) 


0 ” 连 授 到 用 户 前 端 业 务 交 换 机 避 需 要 为 两 个 接口 分 别 规划 1 个 前 端 网 络 IP 地 址 ， 并 
且 为 每 个 市 点 同时 规划 2 个 动态 前 端 IP 地 址 。 


NICO (GE 电 接 口 ) 


o Oceanstor 9000 集 群 中 前 3 个 节点 提供 管理 维护 接口 ， 这 些 接口 连接 到 客户 管理 
维护 交换 机 os 无 需 为 这 些 接口 单独 分 配 IP 地 址 ， 部 署 时 为 集群 配置 的 浮动 管理 |P 
地 址 将 自动 在 这 些 接 口上 浮动 。 


IPMI (FE 电 接 口 ) 


0 连接 到 客户 管理 维护 交换 机 。 需 要 为 该 接口 规划 1 个 IP 地 址 ， 连 接 到 用 户 管理 维 
护 网 络 。 


交换 机 接口 连接 说 明 (CE6850) 


连接 NAS 节 
点 与 后 端 存 
储 设 备 画 


CE6850-1 | ! 


交换 机 管理 
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下 行 接口 (连接 NAS 市 点 ) 
oo CE6850-1 连 接 各 节点 A0-0 接 口 。 
oo CE6850-2 连 接 各 节点 A0-1 接 口 
堆 倒 接口 (交换 机 间 互 联 ) 中 
0 玫 点 数量 s16， 使 用 2 个 接口 。 
o 16 < 节点 数量 <24 ,使 用 3 个 接口 。 
0 24 < 万 点 数量 32， 使 用 4 个 接口 。 


预 留 接口 
0 ”空闲 接口 ,` 建 议 执行 Shutdown 命 令 ， 关 闭 这 些 接口 
ETH 管 理 网 口 


o 用 于 交换 机 的 管理 。 这 两 个 接口 连接 到 管理 维护 交换 机 。 


上 213 0 


交换 机 接口 连接 说 明 (S5752) 


交换 机 用 于 连接 管理 维护 网 络 
前 端 业务 接 入 用 户 交 换 机 


IPMI 下 行 涡 留 NICO 下 行 10GE 交 换 上 行 
接口 WE 开间 接口 


S5752-1 


中 男 加 加 图 轩 加 加 


10/100/1000BASE-T 
以 太 网 接口 
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。 IPMI 下 行 接口 : 顺序 连接 到 各 蔬 点 的 IPMI 接 同 s 


。 NIC0 下 行 接口 : 3 个 接口 顺序 连接 到 集群 最 前 面 的 3 个 节点 (基础 柜 中 01~03 号 节 后 ) 。 


。 10GE 交 换 机 管理 口 : 连接 到 两 全 CE6850 交 换 机 正面 的 ETH 管 理 网 口 。 
。 上 行 接口 : 连接 到 客户 的 管理 维护 网 络 。 
。 预 留 接口 : 空 闻 接口 ， 建 议 执 行 Shytdown 命 令 ， 关 闭 这 些 接口 。 


[DD 514 [0 


IP 地 址 规划 


网 段 类 型 IP 地 址 数量 


"实际 IP 地 址 数量 : 节点 数量 X2 


后 端 存 储 网 络 
0 . 软件 安装 临时 iP 地址: 节点 数量 


* 节 凡 数量 + 官 理 网 络 交 换 机 数量 +2 
* 软件 安 六 临时 IP 地 址 : 1 
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。 前 端 业务 网 络 规划 说 明 
o 为 每 个 节点 分 配 2 个 IP 地 址 ， 该 地 址 为 节点 的 静态 前 端 I|P 地 址 。 
o 为 WiseLink 功 能 的 IP 地 址 池 分 配 n0 (n= 节点 数量 Xx4) 个 动态 前 端 IP 地 址 。 
o 1 个 WiseLink DNS IP 地 址 。 
。 后 病 存 储 网 络 
o 每 个 存储 节点 分 配 2 人 后 端 存 储 网 络 IP 地 址 。 
o Oceansfor 9000 在 软件 安装 过 程 中 还 需要 临时 申请 以 下 IP 地 址 。 


o Nn (n= 节点 数量 ) 个 后 端 存 储 网 络 IP 地 址 ， 软 件 安装 时 通过 DHCP 分 配 临 时 IP 地 址 
时 ， 每 个 存储 节点 再 分 配 1 个 。 这 些 IP 地 址 用 于 软件 安装 时 临时 分 配给 各 节点 。 
完成 软件 安装 后 ， 将 自动 删除 这 些 地 址 。 这 些 临 时 规划 的 后 端 存储 网 络 IP 地 址 不 
能 与 节 扩 实际 规划 的 后 端 存 储 网 络 IP 地 址 重 苇 。 


。 人 党 理 网 络 


D、 每 个 存储 万 点 IPMI 接 口 分 配 1 个 ， 每 全 管理 网 络 交 换 机 分 配 1 个 ，@ 〇 ceanstor 
29000 管 理 IP 地 址 1 个 ， 后 端 存 储 网 络 交换 机 1 个 。 


说 明 : 两 合 交换 机 配置 为 推 基 时 ， 对 外 体现 访 1 合 交换 机 ， 此 时 仅 需 要 分 配 1 个 IP 
地 址 。 


o Oceanstor 9000 在 软件 安装 过 程 中 还 需要 临时 申请 以 下 IP 地 址 : 
a 1] 个 管理 网 络 IP 地 址 ， 用 于 安装 软件 时 登录 部 署 工 具 并 上 传 文件 包 。 


[上 515 0 


上 216 站 


IP 地 址 规划 样 例证 点 ) 


172.18.0.20 
Bond 接 口 0(B3-0 和 B3-1) 1292.168.100.10 
IPMI 10.110.100.10 管理 维护 网 络 
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多 


IP 地 址 规划 样 例 集群) \ 


后 端 网 络 用 于 Oceanstor 9000 内 部 通信 ， 无 
后 端 网 络 掩 码 | 掩 码 : 255.255.252.0 ”| 需 规划 网 关 地 址 ， 部 署 时 需要 按 实际 需求 规划 
掩 码 。 


前 端 网 络 网 关 | IP 地 址 : 192.168.100.1 
地 址 和 掩 三 前 端 网 络 用 于 OceansStor 9000 与 客户 端 通信 。 
Fe 255.255.255.0 


WiseLink 
ao 7 168.100.100 WiseLink 为 ceanstor 
DNS IP 地 址 当 部 署 特性 时 ， 需 要 
2000 规 划 动 态 前 端 I|P 地 址 和 WiseLink DNS IP 


动态 前 端 IP 地 | 192.168.100.110~ 
地 址 。 
址 192.168.100.150 


管理 员 可 以 使 用 该 IP 地 址 登录 OCceanstor 
OM 管理 |P 192.168.100.200 92000 管 理 控制 人 台 。 该 I|P 地 址 为 浮动 恨 地 址 ， 可 
以 浮动 到 集群 内 所 有 节点 的 前 端 网 络 接 口 。 


管理 网 络 网 关 | 下 地 址 : 10.110.100.1 ”| 用 于 Oceanstor 9000 节 点 与 客户 维护 管理 系 
地 址 和 掩 码 “| 掩 码 : 255.255.255.0 统 通信 。 
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当 部 办 WiseLink 特 性 上 时， 需要 为 Oceanstor96000 规 划 动 态 有 me deni DNS 
iP 地址。 其 中 动态 前 端 IP 地 址 需要 在 完成 CeqansStor 9000 软 件 安装 后 ， 在 QceanStor 
2000 管 理 控 制 合 上 配置 。 


中 217 0 


iP 地址 规划 样 例 配置 文件 样 例 ) 


。 前 3 个 蔬 扣 使 用 NICO 接 口 连接 管理 网 络 ， 需 要 独立 出 管理 网 口 


10235678WNZ0CC000031 | 呈 呈 各 村 
0.110. 100. 10 


72.18.0.10 
72.18.0.20 
92. 168. 100. 10 
92. 168. 100. 20 


192_165. 100.10 ”| 前 
Yes 攻 


。 从 第 4 个 节点 开始 将 不 连接 NICO0 接 口 到 管理 网 络 。 


72. 18.0.13 

72. 18.0.23 绩 I 地 址 2 
92. 168. 100. 13 前 端 TP 地 址 1 的 隐 
92. 168. 100. 23 


| | | 8 
4 
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交换 机 配置 说 阴 、 


。 CE6850 交 换 机 配置 说 明 

o 配置 交换 机 管理 IF 

o 配置 两 合 交换 机 堆 赤 

o 配置 3 了 NMP 

o 配置 Telnet 登 录 和 Console 登 录 
。 5752 交 换 机 配置 说 明 

o 配置 交换 机 管理 IP 

o 配置 SNMP 

o 配置 Telnef 登 录 和 和 Console 登录 
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@ 目录 


.概述 

. O 〇 Oceanstor 9000 表 站 CE 后 痕 10CE 组 网 部 署 方 案 
. Oceanstor9000IB 组 网 部 署 方案 

. Oceanstor 9000 GE 组 网 部 署 方案 
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IB 组 网 方案 机 柜 配 置 图 


节点 机 柜 配 置 


TT 
TT 
TT 


~、 
ad. Page 18 NO HUAVWEI 
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扩展 柜 内 部 的 节点 需要 通过 网 线 和 QSFP+ 高 速 线 绕 (或 光纤 ) ， 连 接 到 基础 柜 中 的 交 
换 机 。 初 始 部 署 时 如 有 果 市 态 数 超过 16 时 , 则 需要 根据 实际 组 网 规模 ， 确 定 lB 交 换 机 的 型 号 





O 


[| 221 0 


[ 


人 之 辑 组 网 


IS5023 
交换 村 


高 速 线 缆 
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。 节点 数量 不 超过 16 个 时 ， 采 用 上 图 典型 组 网 滔 案 ， 该 方案 配置 如 下 : 
。 P 节 点 机 柜 配 置 为 1 个 基础 柜 加 .个 扩展 柜 ， 其 中 扩展 柜 最 多 配置 4 个 节点 。 
。 C 节 点 机 柜 配 置 为 1 个 基础 柜 加 生 1 个 扩展 柜 。 


本 组 网 方案 中 ， 后 端 网 络 采用 IB 接 咎 人 前 端 业务 网 络 接 入 用 户 交 换 机 。 用 户 接 入 交换 机 
可 采用 10CB 接 口 和 接口 。 


222 | 


[HH 
[LI 世 
arananrnriananrmdaddnrmniaandrrs 
I ap ep. pe cea E 


两 西西 三 本 Eee FAT 


® bsolonloo hone no non 


"二, 
A 同 : 
量 111111111 网 : 


NICO IPMI 


“ 
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A0-0 和 A0-1 (lB 接口 ) 

0 分 别 连 接 到 两 合 lIS3023 交 换 机 。 需 要 为 两 个 接口 分 别 规划 1 个 后 端 网 络 IP 地 址 。 
B3-0 和 B3-1 (lB 接口 或 10GE 光 接口 ) 

0 连接 到 用 户 的 交换 机 。 

o 采用 lB 接口 和 时， 需要 力 两 个 接口 分 列 规划 1 个 醒 端 网 络 上 P 地 址 。 


o 采用 10GE 光 接口 时 如 果 用 户 交 换 机 配置 为 堆 瑟 ， 建 议 两 个 接口 配置 为 Bond 接 
口 ， 接 口 模式 为 Bond6， 需要 为 该 Bond 接 口 规划 1 个 前 端 网 络 |P 地 址 。 当 用 户 交 
换 机 未 配置 堆 二 时， 需要 为 两 个 接口 分 别 规 划 1 个 南端 网络 IP 地 址 。 


NICO (GE 电 接 口 ) 


0 Oceanstor 3000 集 群 中 前 3 个 节点 提供 管理 维护 接口 ， 这 些 接 口 连接 到 35752 交 
换 机 


9 无 需 为 这 些 接口 单独 分 配 IP 地 址 ， 部 署 时 为 集群 配置 的 管理 IP 地 址 将 自动 在 这 些 
接 上 上 浮动 。 


IPMI (FE 电 接口 ) 
o/ 连接 到 >5752 交 换 机 。 需 要 为 该 接口 规划 1 个 上 地址， 连接 到 用 户 管理 维护 网 络 。 


上 223 0 


[ 


D24 | 





交换 机 接口 连接 说 明 (1S5023) 


。 下 行 接口 
o |S5023-1 交 换 机 连接 各 节点 A0-0 接 口 ，IS5023-2 交 换 机 连接 各 节点 A0-1 接 口 。 
交换 机 互 连 接口 
o 用 于 两 合 I35023 交 换 机 互 连 。 以 


下行 接口 ”交换 机 互 连 缮 | 
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交换 机 接口 连接 说 明 (S5752) N 


。 下 行 接口 : 顺序 连接 到 各 节操 的 IPMI 接 口 。 
。 上 行 接口 :连接 到 客户 的 管理 维护 网 络 。 
。 预 留 接口 :空闲 接口 ， 建 议 执 行 Shufdown 命 令 ， 天 闭 这 些 接口 。 


下行 搁 口 预 留 接口 ”上 行 接 | 


S5752-1 


10/100/1000BASE-T 
以 太 网 接口 
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IP 地 址 规划 


网 段 类 型 IP 地 址 数量 


"实际 IP 地 址 数量 : 市 扣 数 量 X2 


后 闹 存 储 网 络 
听 项 。 软件 安 装 临 时 IP 地 址 : 节点 数量 


* 太 扩 数量 + 管理 网 络 交 换 机 数量 +1 
* 软件 安 滚 临 时 IP 地 地 
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。 前 端 业务 网 络 规划 说 明 
o 为 每 个 节点 分 配 2 个 IP 地 址 ， 该 地 址 为 节点 的 静态 前 端 I|P 地 址 。 
o 为 WiseLink 功 能 的 IP 地 址 池 分 配 n0 (n= 节点 数量 Xx4) 个 动态 前 端 IP 地 址 。 
o 1 个 WiseLink DNS IP 地 址 。 
。 后 疹 存 储 网 络 
o ”每 个 存储 节点 分 配 2 人 后 端 存 储 网 络 IP 地 址 。 
o Oceansfor 9000 在 软件 安装 过 程 中 还 需要 临时 申请 以 下 IP 地 址 。 


。 n(n 区 点 数量 ) 个 后 端 存储 网 络 P 地 址 ， 软 件 安装 时 通过 DHCP 分 配 临 时 
P 地 址 时 ， 每 个 存储 节点 再 分 配 1 个 。 这 些 IP 地 址 用 于 软件 安装 时 临时 分 配 
给 各 节点 。 完 成 软件 安装 后 ， 将 自动 删除 这 些 地 址 。 这 些 临 时 规划 的 后 端 
存储 网 络 IP 地 址 不 能 与 节点 实际 规划 的 后 端 存储 网 络 IP 地 址 重 又 。 


ob、 每 个 存储 节点 IPMI 接 口 分 配 1 个 ， 每 合 管理 网 络 交 换 机 分 配 1 个 ，Oceanstor 
9000 管 理 IP 地 址 1 个 。 


oo Oceanstor 9000 在 软件 安装 过 程 中 还 需要 临时 申请 以 下 IP 地 址 : 
o 1 个 管理 网 络 IP 地 址 ， 用 于 安装 软件 时 登录 部 署 工具 并 上 传 文件 包 。 


226 | 


IP 地 址 规划 样 例 “有 总 ) 


规划 示例 。 | 。 所 属 网 


前 端 网 络 
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本 实例 以 用 户 前 端 业务 网 络 交换 机 使 用 10CE 实 换 机 为 例 说 明 。 当 用 户 的 前 端 业务 网 络 
交换 机 使 用 B 交 换 机 时 ， 节 点 使 用 接口 变化 如 下 


90 A0-0 和 B3-0 连 援 后 端 存储 网 络 交换 机 。 
o Au0-1 和 B3-1 连 接 前 端 业务 网 络 交换 机 。 


[| 227 0 


IP 地 址 规划 样 例 集群 ) 


后 端 网 络 用 于 QCeanstor 9000 内 部 通信 ， 无 需 规 
划 网 关 地 址 ， 部 署 时 需要 按 实际 需求 规划 掩 码 。 


前 端 网 络 | IF 地 址 : 122.168.100.1 
前 端 网 络 用 于 Oceanstor 9000 与 客户 端 通信 。 
网 关 地 址 | 掩 码 : 255.255.255.0 


后 端 网 络 | 掩 码 : 255.255.252.0 


WiseLink 
192.168.100.100 
DNS IP 当 部 署 WiseLink 特 性 时 ， 需 要 为 Oceanstor 9060 
192.168.100.110~ | 规划 动态 前 端 |P 地 址 和 WiseLink DNS IP 地 址 。 
动态 前 端 IP 
192.168.100.150 


管理 员 可 以 使 用 该 IP 地 址 登录 CeanstorW9000 管 
OM 管理 IP 理 控制 合 ， 该 IP 地 址 为 浮动 IP 地 址 。 该 地 址 可 以 浮 
动 到 集群 内 所 有 节点 的 前 端 网 络 接口 。 
用 于 Qceanstor ?9000 节 点 与 客户 维护 管理 系统 通 
网 关 地 址 | 掩 码 : 255.255.255.0 | 信 。 
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当 部 署 WiseLink 特 性 时 ， 需 要 为 DOceanStor2000 规 划 动 态 前 端 |P 地 址 和 WiseLink DNS 
IP 地 址 。 其 中 动态 前 端 |P 地 址 需要 在 完成 OGeanStor 9000 软 件 安 装 后 ， 在 OceanStor 
2000 管 理 控 制 合 上 配置 。 


[| 228 [0 


IP 地 址 规划 样 例 〈 配 置 文件 样 例 ) NS 


N9000Cluster 


192. 168. 100. 100 是 庙 网 络 摘 255. 255.255.0 ”| 前 庙 网 络 网 ; |192. 168. 100.1 
| 2552552550 | 数据 多 余 配 四 


10. 110. 100.1 


和 | [192.168.100.200 

235G78PZ0D2000003 | 芍 疝 站 利 N9000NODF1 10. 110. 100. 10 
> 1 

No 


72. 18.0.10 


Tet |192. 168. 100. 20 


255. 255.255.0 | 芝 理 
192. 168. 100. 220 ol 管 
1! | 
|i72.18.0.10 
172. 18. 0. 20 | 
192. 168. 100. 10 
|192.168.100.20 | 
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Oceanstor ?000 表 3 个 万 点 使 用 NICO 接 口 连接 管理 网 络 ， 需 要 独立 出 管理 网 口 ， 从 第 
4 个 节点 开始 不 连接 NICO0 接 口 到 管理 网 络 。 集群 配 置 时 ， 不 独立 出 管理 网 口 ， 此 时 CM 管 
理 IP 地 址 在 前 端 网 络 。 


上 229 [0 


交换 机 配置 说 阴 


。155023 交 换 机 配置 说 明 
o lB 交换 机 无 需 任何 配置 
。 5752 交 换 机 配置 说 明 
o 配置 交换 机 管理 中 
o 配置 > 了 NMP 
o 配置 Telnet 登 录 和 Console 登 录 
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0D 5300 


钨 目录 


概述 

Oceanstor 9000 前 端 GE 后 端 10GE 组 网 部 署 方案 
OceangStor 920001B 组 网 部 署 方案 
OceansStor9?000 GE 组 网 部 署 方案 
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GE 组 网 方案 机 柜 配 置 贸 


P 攻 点 机 柜 配 置 CC 二 点 机 柜 配 置 
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如 果 是 多 个 机 柜 组 网 ， 需 要 配置 两 合 CE6850 交 换 机 用 于 汇聚 55752 交 换 机 的 上 行 连接 。 
机 柜 内 部 两 侣 ?5752 的 多 个 上 行 接口 需要 配置 链 路 聚合 ， 与 之 对 接 的 CE6850 交 换 机 接口 也 
击 要 配置 链 路 聚合 。 
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过 辑 组 网 图 


后 端 网 络 利 
前 端 网 经 IPMI 网 络 
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单机 柜 部 嗜 时 采用 典型 组 网 方案 ， 后 端 网 络 有 用 CE 接口 ， 前 端 业 务 网 络 接 入 用 户 交 换 
机 。 用 户 接 入 交换 机 可 采用 CB 接 口 。 





[ 


233 [] 


点 组 网 接口 





I 
LL 


WN 局 
WWW 网 





Re 


da 


= 


NICO NIC1 IPMI 


ne 
[a 与 
| mc 


(0 1 
人 
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。 BO0-0、B0-1、B1-0、B1-1 (GE 电 接 口 ) 
o BO-0 和 B1-0 连 接 到 $5752-01，BO0-=1 和 B1-1 连 接 到 $5752-02。4 个 物理 接口 设置 为 
1 个 Bond 接 口 ， 接 口 模式 为 Bondoy 需要 为 该 Bond 接 口 规划 1 个 后 端 网 络 IP 地 址 。 
。 NICO、NIC1 (GE 电 接 口 ) 
o 连接 到 客户 的 交换 机 ww 建议 2 个 物理 接口 设置 为 1 个 Bond 接 口 ， 接 口 模式 为 
Bond6， 需 要 为 该 Bond 接 口 规划 1 个 前 端 网 络 IP 地 址 。 
。 |PMI (FE 电 接口 ) 


。 机 柜 内 部 编号 为 奇数 的 节点 顺序 连接 到 $5752-01， 编 号 为 偶数 的 节点 顺序 连接 到 
S5752-02。 需 要 为 该 接口 规划 1 个 IP 地 址 ， 连 接 到 用 户 管理 维护 网 络 。 


0D 234 0 


交换 机 接口 Ei (S5752) 


\ 行 接 | IPMI 下 行 接 IPMI 上 和 


S5752-2 | ; 


S5752-1 | ; 
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。 后 端 网 络 下 行 接 口 


o S5752-1 顺 序 连 援 各 个 节点 B0-0 和 B1-0。 
o ”S9752-2 顺 序 连 接 各 
IPMI 下 行 接口 
o S5752-1 顺 序 连 


个 节点 BO-1 帮 IB1-1。 


车 接 编写 为 奇数 太 点 的 IPMI 接 口 。 


o S5752-2 顺 序 连 接 编号 为 偶数 节点 的 IPMI 接 口 。 
IPMI 上 行 接口 


0 连接 到 客户 管理 维护 网 络 。 
预 留 接口 


0 空闲 接口 ， 建 议 执行 


Shuftdown 人 命令， 关闭 这 
堆 又 接口 


些 接口 。 


6 3957Y52-1 与 32752-2 互 连 。3TACK1 连 接 到 JTACK1，3TACK2 连 接 到 3TACK2。 


NW, HuAwel 


[ 





235 中 


IP 地 址 规划 


网 段 类 型 IP 地 址 数量 


。 实 际 |P 地 址 数量 : 节点 数量 X.1 
。 软件 安 装 临 时 IP 地 址 : 节点 数量 


' 节点 数量 + 后 端 存储 网 络 与 管理 网 络 
管理 网 络 收 量 + 局 喘 行 仿 网 省 与 管 是 网络 
交换 机 总 数量 /2 


后 问 存 储 网 络 
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。 前 端 业 务 网 络 规划 说 明 
0 为 每 个 万 点 分 配 2 个 IP 地 址 ， 该 地 址 为 节点 的 静态 前 端 IP 地 址 。 
0 为 WiseLink 功 能 的 IP 地 址 池 分 配 9 〈《n= 世 点 数量 X4) 个 动态 醒 端 iP 地 址 。 
o 1 个 WiseLink DNS IP 地 址 。 
0 ”1 个 登录 OCeanstor DevyiceManager 的 管理 |P。 
。 后 端 存储 网 络 
0 每 个 存储 厂 扩 分 配 1 个 后 并 存储 网 络 IP 地 址 。 
o Oceanstor9000 在 软件 安 六 过程 中 还 需要 临时 申请 以 下 IP 地 址 。 


ao nN (n= 布 尽 数量 ) 个 后 端 存储 网 络 上 P 地 址 ， 软 件 安 滩 时 通过 DHCP 分 配 临 时 IP 地 址 
时 ， 每 个 存储 节点 再 分 配 1 个 。 这 些 IP 地 址 用 于 软件 安装 时 临时 分 配给 各 节点 。 
完成 软件 安装 后 ， 将 自动 删除 这 些 地 址 。 这 些 临 时 规划 的 后 端 存储 网 络 IP 地 址 不 
能 与 节 反 实际 规划 的 后 端 存 储 网 络 IP 地 址 重 苇 。 


。 管理 网 络 
o 每 个 存储 节点 IPMI 接 口 分 配 1 个 ， 每 2 台 35752 交 换 机 数量 交换 机 分 配 1 个 。 


p 说明 : ”两 合 交 换 机 配置 为 堆 苹 时 ， 对 外 体现 为 1 从 交换 机 ， 此 时 仅 需 要 分 配 1 个 IP 
地 址 。 


236 中 


IP 地 址 规划 样 例证 点 ) 


接口 名 称 规划 示例 所 属 网 络 
本 on 
172.18.0.10 
(B0-0、B0-1、B1-0、B1-1) 


IPMI 10.110.100.10 管理 维护 网 络 
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IP 地 址 规划 样 例 集群) 


后 端 网 络 用 于 Oceanstor 9000 内 部 通信 ， 无 需 
后 端 网 络 掩 码 | 掩 码 : 255.255.252.0 
规划 网 关 地址 ， 部 署 时 需要 按 实际 需求 规划 掩 码 。 


IP 地 址 : 
前 端 网络 网 关 
192.168.100.1 前 端 网 络 用 于 Oceanstor 9000 与 客户 端 通信 。 


地 址 
掩 码 : 255.255.255.0 


Ee 
192.168.100.100 
IP 当 部 署 WiseLink 特 性 时 ， 需 要 规划 动态 前 端 足 地 
动态 前 端 |P 地 址 和 WiseLink DNS IP 地 址 。 
址 192.168.100.150 
用 于 Oceanstor 9000 节 点 与 客户 维护 管理 系统 
地 址 掩 码 : 255.255.255.0 | 通信。 
管理 员 可 以 使 用 该 IP 地 址 登录 Ocednstor 9000 
以 浮动 到 集群 内 所 有 节点 的 前 端 网 络 接口 。 
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当 部 团 WiseLink 特 性 时 ， 需 要 规划 动态 前 端 IP 地 址 和 WiseLink DNS 1IP 地 址 。 其 中 动态 
前 端 IP 地 址 需要 在 完成 OceanStor 9000 软 首 安 装 后 ， 在 OceanStor 9000 管 理 控制 人 台 上 


配置 。 
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IP 地 址 规划 样 例 〈 配 置 文件 样 例 ) 


192. 168. 100. 100 岂 络 : 255.255.2550 | 要 缩 民 192. 168. 100. 1 
| 255.255.2550 | 


10. 110. 100. 1 


| [192.168.100.200 
N9000NODF1 10.110. 100. 10 
Te 


0-0.B0-1.Bl-0.Bl- 小 | 
| 
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交换 机 配置 说 阴 


配置 交换 机 管理 中 

配置 堆 妓 

配置 NMP 

配置 Telnet 登 录 和 Console 登 录 
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e OceanStor 9000 10GE 组 网 规划 
e OceanStor 9000 IB 组 网 规划 
。 OceanStor 9000 GE 组 网 规划 
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请 描述 OceanStor 9000 10GE 组 网 连接 


女 


拉 述 Oceanstor 9000 1IB 组 网 连接 


拉 述 Oceanstor 9000 GE 组 网 连接 


女 
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@ 习题 


1、 ( 单 选 题 ) 一 套 OceanStor 9000 系 统 中 如 果 既 有 P 节 点 又 有 C 节 点 ， 那 
么 总 节点 数 至 少 为 ? 


A、3 合 ; B、4 合 ; C、5 合 ; D、6 合 


2、Oceanstor 9000 支 持 以 下 哪 几 种 组 网 ? 
A、FE; B、 GE; C、10GF; D、 iIB 
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1、D; 2、BCD 
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人 
Ye, 
:2 


www.huawel.com 


Thank you 





华为 职业 认证 通过 者 权益 


通过 任 一 项 华为 职业 认证 ， 您 即 可 在 华为 在 线 学 习 网 站 (hjjp:Jecm?me.hnwawe/comWcD) 享有 如 下 特权 : 
。 1、 华 为 E-learning 课程 学 习 
o 内容: 所 有 华为 职业 认证 E-Learning 课 程 ， 扩 展 您 在 其 他 技术 领域 的 技术 知识 
方式 : 请 提交 您 的 “华为 账号 ”和 注册 账号 的 “email 地 址 ”到 LeQ/ning@huawei.com 有 押 坊 未 碟 。 
华为 培训 教材 下 载 
内 容 : 华为 职业 认证 培训 教材 + 华为 产品 技术 培训 教材 ， 覆 盖 企 业 网 络 、 存 储 、 安 全 等 诸多 领 
方式 : 登录 华为 在 结 学 习 屋 六 ， 进 入 “华为 姐 加 -> 面 立 如 加 ， 在 具体 课程 页 面 即 可 下 载 教 梢 。 
华为 在 线 公开 课 ([LVC) 优 先 参 与 
内 容 : 企业 网 络 、UC&C、 安全、 存储 等 诸多 领域 的 职业 认证 课程 ， 华 为 讲师 授课 ， 淹 班 人 数 有 限 
方式 : 开 班 计划 及 参与 方式 请 详 见 LVC 排 期 : 
http://support.huawei.com/learning/NavigationAction!lcreateNavi#rnewilid]=%16 
学 习 工 具 eNSP 
o EeNSP /Enterprise Network Simulation Paoxo777)/ 是 由 华为 提供 的 免费 的 入 可 委 展 的 、 图 形 化 网 络 仿 
真 工具 。 主 要 对 企业 网 路 由 器 和 交换 机 进行 硬件 模拟 ， 完 美 呈现 真实 设备 实景 了 了 同时 也 支持 大 型 网 络 
模拟 ， 让 大 家 在 没有 真实 设备 的 情况 下 也 能 够 进行 实验 测试 。 
另外 , 华为 建立 了 知识 分 享 平台 华为 认证 论坛 。 您 可 以 在 线 与 华为 技术 专家 交流 技术 ， 与 其 他 考生 分 享 考试 
经 验 ， 一 起 学 习 华 为 产品 技术 。_( http://support.huawei.comYecemimunity/bbs/list 2247.html ) 
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